要努力啊要努力-CSDN博客

原创 Pandas、Numpy 操作日常记录

文章目录1. DataFrame2. MySQL3. Jupyter Nobetook1. DataFrameDataframe 显示所有行、列信息#显示所有列pd.set_option('display.max_columns', None)#显示所有行pd.set_option('display.max_rows', None)#设置value的显示长度为100，默认为5...

2019-09-28 10:58:07 222

转载《CS224n学习笔记7》TensorFlow入门

TensorFlow是一个描述机器学习算法和实现机器学习算法的接口。图计算编程模型：中心思想是将数值运算以图的形式描述。1）图的节点是某种运算，支持任意数量的输入和输出；2）图的边是tensor（张量，n维数组），在节点之间流动。变量：variable。w和b是变量，变量通常是模型的参数。变量可以存储下来，作为模型的一部分发布。占位符：placeholder。例如x。只在执行...

2019-05-13 21:20:15 182

原创 Centos7 jupyter 配置多个python版本

查看当前jupyter kernel[root@localhost user]# jupyter-kernelspec list Available kernels: python2 /usr/local/python2.7/share/jupyter/kernels/python2接下来要配置Python3的版本；安装jupyter[注意此时使用的是pip3,pip...

2019-02-11 16:47:52 728

原创 Python 异常整理

报错：ImportError: cannot import name imread分析：需要install PIL or Pillow.解决方案：pip install pillow 即可参考链接

2018-10-16 14:42:00 568

原创 word2vec、doc2vec 训练词向量参数说明

利用 gensim 模块训练词向量word2vec ，主要语句：from gensim.models import Word2Vecfrom gensim.models.word2vec import LineSentencemodel = Word2Vec(LineSentence(wiki_news), sg=0,size=192, window=5, min_count=5,...

2018-10-03 23:02:09 3297

langconv 这个包在pycharm里不会自动安装。解决办法：1、下载zh_wiki.py 和 langconvzh_wiki.py:https://github.com/skydark/nstools/blob/master/zhtools/zh_wiki.py（简-&amp;amp;amp;amp;amp;gt;繁）langconv.py:https://github.com/skydark/nstools/blob/...

2018-10-03 22:45:14 18637 8

原创 Linux 安装 pymsql

习惯了PyCharm自动安装，服务器上，还是耽误了些时间。Linux 下安装需要几个基础类库。安装步骤如下：Cython：pip install Cython # python包freetds-dev：yum install freetds-devel.x86_64 / apt-get install freetds-dev ##linux包最后安装pymssql： ...

2018-09-26 21:20:48 895

原创 day15

day15<01 集合框架（TreeSet）> * Set:无序，不可重复元素* |--HashSet：数据结构是哈希表，线程是非同步的* 保证元素唯一性的原理：判断元素的hashCode是否相同。* 如果相同，还会继续判断元素的equals方法，是否为true。* |--Tr...

2018-08-26 16:07:00 186

原创《剑指offer》python版

# 插入排序 def insert_sort(lists): count = len(lists) for i in range(1, count): key = lists[i] j = i - 1 while j &amp;amp;amp;amp;gt;= 0: if lists[j] &amp;amp;amp;amp;gt; key: ...

2018-08-09 22:03:41 1128

转载 SQL 三表连接

http://www.111cn.net/database/mysql/62555.htmselect * from a left join b on a.id=b.id left join c on b.id=c.id and ***注意是用 join ... on ... and ...，还是用 join ... on ... where ...（现在看来，这个用的真是太普遍了，且...

2018-01-09 14:29:41 28848

原创 GraphFrame 初试

GraphX基于RDD API，不支持Python API；但GraphFrame基于DataFrame，并且支持Python API。 “GraphFrames is a DataFrame-based external Spark package that provides performance optimizations and also additional functional

2018-01-07 21:44:02 5808

原创 Pandas笔记（杂）

…

2017-12-27 10:24:45 209

原创 python数据处理

DataFrame写入数据库写入MySQL数据库格式：import pandas as pd from sqlalchemy import create_engine ##将数据写入mysql的数据库，但需要先通过sqlalchemy.create_engine建立连接,且字符编码设置为utf8，否则有些latin字符不能处理 yconnect = create_engine('

2017-10-15 10:55:25 529

原创 plotly 笔记

常用语句import plotlyprint(plotly.__version__)plotly.offline.init_notebook_mode() # run at the start of every notebook* initiate the Plotly Notebook*init_notebook_mode(connected=True)import cufflinks a

2017-10-15 10:54:40 1512 1

原创 Pandas

pandas

2017-06-22 14:38:18 417

原创 Python数据结构

1）把链表当作堆栈使用#append()：添加到末尾#pop()：删除末尾元素2）把链表当作队列使用#要实现队列，使用 collections.deque，它为在首尾两端快速插入和删除而设计from collections import dequequeue = deque(['Eric', 'John', 'Michael'])queue.append('Terry') #在末

2017-03-21 16:02:05 478

原创排序

public static void bubbleSort(int[] list){ boolean needNextPass = true; for(int k = 1; k < list.length && needNextPass; k++){ //k：遍历次数 needNextPass = false; for(

2017-03-14 11:31:00 282

原创 day13 String

<05 String常见功能-比较和去除空格> 1）将字符串转换成大写或者小写。 String toUpperCase()，String toLowerCase() 2）将字符串两端的多个空格去除。String trim() 3）对两个字符串进行自然顺序的比较。String compareTo(string) （注意：都是产生新的字符串。因为字符串一旦被声明，便不可再修改） String类

2017-03-07 17:09:10 220

原创 day21 IO包中的其它类

<1 对象的序列化>ObjectInputStream和ObjectOutputStream 成对使用 package day21;import java.io.*;/** * Created by Administrator on 2017/2/14. */public class ObjectStreamDemo { public static ...

2017-02-14 22:08:42 210

原创 day20 File类

<1 File类概述>流：只能操作数据 package day20;import java.io.File;/** * Created by Administrator on 2017/2/12. */public class FileDemo { public static void main(String[] args){ con...

2017-02-12 16:48:02 290

原创 SQL笔记

1.MySQL 执行顺序。先执行where，后执行group by。所以，having中能放在where中的，就尽量放在where中。而不要放在having中。这样可以先筛选出一些行数，减少group by的工作量。 2.group_concat() 行变列.例：SELECT student_id, GROUP_CONCAT(courses_id) AS courses ...

2017-02-09 22:33:47 316

原创 day19

<1 IO流（BufferedWriter）> package day19;import java.io.BufferedWriter;import java.io.FileWriter;import java.io.IOException;/** * 缓冲区出现时为了提高流的操作效率而出现的 * 所以在创建缓冲区之前，必须要先有流对象 * * 该缓冲...

2017-02-08 21:42:45 262

原创 day18IO概述& 字符流FileWriter FileReader

<1 IO流(概述)>按照操作的数据分为两种：字节流、字符流。<2 IO流(FileWriter)> package day18;import java.io.FileWriter;import java.io.IOException;/** * 字符流和字节流： * 字节流两个基类： * InputStream OutputStream...

2017-01-30 00:15:26 218

原创 day25正则表达式

<01 特点> * 具体操作功能：* 1.匹配：String类中的 matches方法。用规则匹配整个字符串，* 只要有一处不符合规则，就匹配结束，返回false。* 2.切割：split* 3.替换：String replaceAll() <02 匹配> package day25;/** * 正则表达式：符合一定规则...

2017-01-28 13:56:13 234

原创 day12 多线程-线程间通信

同步问题如果没解决了，就想那三个前提：1）是不是两个or两个以上线程？ 2）是用的同一个锁吗？**线程间通信： * 其实就是多个线程在操作同一个资源， * 但是操作的动作不同。 * * wait() * notify() * notifyAll() * 都使用在同步中，因为要对持有监视器（锁）的线程操作。 * 所以要使用在同步中。因为只有同步才具有锁。 * * 为什么这

2017-01-22 16:11:11 239

原创待整理

简单的不能再简单的东西1.Mysql中sum(if())用法2.Hive中map、array、structs使用 3. Excel插入单引号和逗号 =“‘’”&A1&“‘’”&“,” 注：符号之间用&连接，每个符号用双引号"" 包起来。4. secureCRT开启语法高亮参考二5. mysql日期加减6...

2017-01-20 15:20:52 193

原创总结

总结下吧，不仔细的地方。一、总以为逻辑正确，绝对不会出错。等到反馈回来，再一看，怎么写成了这个表名，怎么写成了这个日期，日期怎么写成了这个格式...1.sql错误1）表名写错2）日期写错3）日期格式写错4）substr()含义5）join、left join 使用不合理，使结果翻倍。6）distinct ...join左表有些记录在右表中没有，右表有些记录在...

2017-01-20 15:05:29 174

原创 day11 多线程

<01 多线程(概述)> * 进程：是一个正在执行中的程序。* 每一个进程执行都有一个执行的顺序。该顺序就是一个执行路径。或者叫一个控制单元。* 线程：就是进程中的一个独立的控制单元。* 线程在控制着进程的执行。** 一个进程中至少有一个线程。** Java VM 启动的时候，会有一个进程java.exe，* 该进程中至少有一个线程负...

2017-01-14 10:46:27 202

原创 day17 Utilities：Collections& Arrays

day17<16 集合（Arrays）>（1） * 【数组变集合】* Arrays用于操作数组的工具类* 里面都是静态方法。* Created on 2017/1/1.* asList：将数组变成list集合（2） //把数组变成list集合有什么好处？/* 可以使用集合的思想和方法来操作数组中的元素。注意：...

2017-01-02 21:27:18 223

原创 day16Map

day16<01 集合(Map概述)> * Map集合：该集合存储键值对，一对一对往里存。而且要保证键的唯一性。* 1.添加：put(K key, V value)* putAll(Map<? extends K, ? extends V> m)* 2.删除：clear()* remove(Object key)* 3.判...

2016-12-29 12:27:09 255

原创 day15泛型

<06 集合框架(泛型概述)>集合中只能添加对象，是不能添加基本数据类型的。但1.5版本之后可以。因为基本数据类型有个自动装箱/拆箱动作。<07 集合框架(泛型使用)>泛型避免了强转（泛型在比较器中的应用。代码变简洁，且安全性增强）<08 集合框架(泛型类)>在自己定义的类中使用泛型，来完成自己的程序设计。由对方来指定要操作什么类型...

2016-12-24 16:50:02 226

原创 day15 TreeSet

day15Set：无序，不可重复元素。| -- HashSet：数据结构是哈希表，线程是非同步的。保证元素唯一性的原理：判断元素的hashCode值是否相同。如果相同，还会继续判断元素的equals方法，是否为true。| -- TreeSet：可以对Set集合中的元素进行排序

2016-12-22 23:34:24 248

原创 day14

day14集合框架为什么出现这么多的容器呢？因为每一个容器对数据的存储方式都有不同。这个存储方式称之为：数据结构。 <02 集合框架（共性方法）>记住：集合中不可能存放对象实体。集合和数组一样，存放的都是地址。1）add方法的参数类似是Object，以便于接收任意类型的对象。2）集合中存储的都是对象的引用（地址）。（和数组一样。存放的不是对象实...

2016-12-19 18:51:14 243

原创 Hive&SQL笔记

1.unix时间转换在hive中将UTC转为正常时间的方法参考：http://ju.outofmemory.cn/entry/125067 看第二行，使用from_unixtime将UTC转为string时间，这里虽然这样说了，但是在处理的时候还是有要注意的地方的（注意下面的/1000）SELECT from_unixtime(cast(1426041039030...

2016-12-07 14:05:29 299

转载 Linux Python详细安装、升级指南

https://my.oschina.net/coderknock/blog/702373

2016-10-17 15:12:32 312

原创 VirtualBox Centos6固定IP

校园无线网环境，只能固定IP，不然太麻烦。只修改了 /etc/sysconfig/network-scripts/ifcfg-eth0 （1）添加的内容： IPADDR=223.3.103.17 //IP地址。要和物理机在一个网段上。自己物理机本身的IP为 223.3.103.186 NETMASK=223.3.96.1 //默认网关。和物理机的一样

2016-09-15 17:42:43 445

转载 CentOS 6 无法上网问题解决方案

原文：http://www.cnblogs.com/wwufengg/archive/2013/01/24/centos-network.html 这个说明没有分配正确的IP地址. 同时也是因为系统默认并没有启动网络配置导致的, 首先设置为随系统开机运行, 具体做法是:编辑当前的网卡配置文件(eth0),它对应的路径及配置文件是/etc/systemconfig/network-scrip...

2016-09-11 09:50:34 3630

原创 SparkSQL UDF 两种方式：udf() 和 register()

1）调用sqlContext.udf.register()此时注册的方法只能在sql()中可见，对DataFrame API不可见用法：sqlContext.udf.register("makeDt", makeDT(_:String,_:String,_:String))示例：def makeDT(date: String, time: String, tz: St

2016-09-04 16:11:25 13418 1

原创 Spark master local配置

local 本地单线程local[K] 本地多线程（指定K个内核）local[*] 本地多线程（指定所有可用内核）spark://HOST:PORT 连接到指定的 Spark standalone cluster master，需要指定端口。mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。yarn-client客户端模式连接到 YARN 集群。需要配置...

2016-09-03 15:08:43 5076

原创 Hive on Spark 配置、运行

一、Spark上运行Hive的配置如下的配置文件都是在Spark目录中配置1）/usr/local/spark/conf/hive-site.xml在/usr/local/spark/conf中添加hive-site.xml配置文件，主要是来指明Hive元数据的位置。具体内容为： <configuration> <property>...

2016-09-02 11:48:57 4249