2016年03月_GodsLeft

原创 pandas读书笔记

pandas数据结构介绍Series类似一维数组的对象，数据(numpy数据类型)和相关的标签obj = Series([4, 7, -5, 3])obj.indexobj.values# 指定索引obj2 = Series([4, 7, -5, 3], index=['d','b','a','c'])obj2.indexobj2['a']obj2[['a','

2016-03-19 09:52:06 740

原创 Numpy读书笔记

ndarray 多维数组对象创建ndarray# 列表转换data1 = [6, 7.5, 8, 0, 1]arr1 = np.array(data1)# 嵌套序列data2 = [[1,2,3,4],[5,6,7,8]]arr2 = np.array(data2)# 其他创建数组的函数np.zeros(10)np.zeros((3,6))np.empty((2,3,2)) #返回的是

2016-03-17 18:41:43 2310

描述我在服务器上自己的用户下安装了spark单节点，解压，在.bashrc中配置一下SPARK_HOME和PATH就可以了，在其他的节点，这样做一点问题都没有，但是移动到一个公共的节点（很多人在用root账户）就失败了，spark-shell报无法连接的错误，pyspark报莫名其妙的错误（py4j.protocol.Py4JJavaError）。解决其实这个错误很意外，主要是有人再使用root的用

2016-03-15 09:06:08 554

原创 mvn 报错:不支持 diamond运算符

不支持 diamond运算符<project xmlns="..."> ... <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plu

2016-03-09 23:32:08 589

原创 hadoop无法关闭hdfs

问题解释出现这个问题的最常见原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下，linux默认会每隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后，namenode自然就找不到datanod

2016-03-08 18:04:59 1798

原创 jar包小知识

运行java 打包成jar包需要在MANIFEST.MF中指定Main-Class项，以便运行java -jar ***.jar 时找到对应的主类。但是如果不想在打包成jar 包时指定这个类，而是想在运行的时候指定想要运行的类# 需要指定在MAINIFEST中指定Main-Classjava -jar HelloWorld.jar# 运行时指定java -cp HelloWorld.jar or

2016-03-08 15:18:12 458

GodsLeft的专栏