- 博客(21)
- 资源 (45)
- 收藏
- 关注
RSS订阅原创 Hadoop高可用high availability 集群配置
1、为什么配置高可用HA单点故障：在Hadoop2.0.0之前，每个Hadoop集群只有一个namenode节点，一旦该节点发生了故障，那么整个集群将瘫痪掉，只有重新启动该节点，或者重新移动到另外的节点，才能够重新运行该节点，这也就是所谓的单点故障2、HA的原理在同一个集群上配置两个名称节点，一个为激活态，一个为待命态。当激活态的名称节点出现了故障，那么可以快速的将待命态的名称节点快速容错，转为激...
2018-02-09 17:11:13
396
原创 Could not determine own NN ID in namespace 'mycluster'.
执行hdfs namenode -bootstrapStandby的时候报错如下java.io.IOException: java.lang.IllegalStateException: Could not determine own NN ID in namespace 'mycluster'. Please ensure that this node is one of the machine...
2018-02-09 16:07:53
2338
原创 hadoop-daemon.sh 和Hadoop-daemons.sh 的区别
Hadoop-daemon.sh:用于启动当前节点的进程例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点Hadoop-daemons.sh：用于启动所有节点的进程例如：Hadoop-daemons.sh start datanode 用于启动所有节点的数据节点
2018-02-08 11:18:19
4318
原创 将SVD应用于推荐系统
1、什么是SVDsingular value decomposition 奇异值分解，通过SVD实现从噪声数据中抽取相关特征2、SVD的应用2.1信息检索隐形语义索引LSI：latent semantic indexing隐形语义分析LSA：latent semantic analysis再LSA中，一个矩阵是由文档和词语构成，我们利用SVD对矩阵进行分解，就会得到多个奇异
2018-02-07 16:39:15
438
原创 matrix.A
if __name__ == '__main__': from numpy import * a = mat([[0, 0, 0, 2, 2], [0, 0, 0, 3, 3], [0, 0, 0, 1, 1], [1, 1, 1, 0, 0], [2, 2, 2, 0, 0],
2018-02-07 14:41:03
490
原创 机架感知配置
0、hdfs存放副本的策略：先存放一个副本在本地机架的一个节点上，然后将第二个副本存放在本地机架的另外一个节点上，最后将第三个副本存放在不同机架的不同节点上1、配置机架感知Java类package com.cr.rackAware;import org.apache.hadoop.net.DNSToSwitchMapping;import org.mockito.internal
2018-02-06 17:52:17
316
原创 PCA主成分分析进行数据降维
1、PCA的原理PCA:principal component analysis 主成分分析，PCA通过更换数据的坐标系来达到降维的目的。第一个坐标轴是原始数据的方差最大的方向，第二个坐标轴是与第一个坐标轴正交并且方差次大的方向2、PCA的优缺点优点：降低数据的复杂性，识别最重要的多个特征缺点：不一定需要，且有可能损失重要信息3、PCA伪代码'''去除平均值
2018-02-06 16:19:05
1239
原创 flatten的用法
from numpy import *if __name__ == '__main__': ''' flatten 用于数组 ''' a = array([[1,2,3,4,5],[3,4,5,6,7],[1,4,5,6,74],[23,4,5,6,7]]) print(type(a)) print(a.flatten()) '''
2018-02-06 16:05:35
620
原创 数组与列表访问某一列的方法不同
from numpy import *if __name__ == '__main__': a = [[1,2,3,4,5],[3,4,5,6,7],[1,4,5,6,74],[23,4,5,6,7]] for x in a: print(x[0]) b = array(a) print(b[:,0])13123[ 1 3 1 23]
2018-02-06 15:04:15
258
原创 python 切片
from numpy import *if __name__ == '__main__': a = [[1,2,3,4,5],[3,4,5,6,7],[1,4,5,6,74],[23,4,5,6,7]] print(a[::1]) #正向开始，不取最后一个元素 print(a[:-1]) #从末尾开始到倒数第三个，步长为-1，最后一个数的正负表示方向，大小
2018-02-06 14:52:50
234
原创 mapreduce统计数据库中的单词个数
1、建立数据库表2、导入jar包mysql-connector-java-5.1.38.jar3、创建实体类package com.cr.jdbc;import org.apache.hadoop.io.Writable;import org.apache.hadoop.mapred.lib.db.DBWritable;import java.io.D
2018-02-05 19:06:51
485
原创 Call From s150/192.168.109.150 to 0.0.0.0:10020 failed on connection exception:
参考博客：点击打开链接Hadoop连接本地数据库的时候报错Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From s150/192.168.109.150 to 0.0.0.0:10020 failed on connection exception: java.net.C
2018-02-05 19:04:51
642
1
转载 message from server: "Host 'XXXX' is not allowed to connect to this MySQL server"
环境：mysql5.7.11 + windows10 64位问题现象：使用mysql远程登录命令mysql –uroot –h192.168.1.102 –p时，报错MySQL ERROR 1130 (HY000): Host ‘XXXX’ is not allowed to connect to this MySQL server问题原因：mysql服务器出于安全考虑，默认只允许本地登录数据库
2018-02-05 18:47:25
11164
2
原创 Hadoop格式化namenode
格式化的时候需要先删除所有节点的Hadoop的临时缓存目录也就是我们在core-site.xml里面配置的hadoop.tmp.dir
2018-02-05 17:53:15
642
原创 构建FP-growth算法高效发现频繁项集
1、构建FP树1.1创建FP树的结构#创建FP树的数据结构#FP树的类定义class treeNode: def __init__(self, nameValue, numOccur, parentNode): self.name = nameValue self.count = numOccur self.nodeLink =
2018-02-05 17:28:59
366
原创 TypeError: '<' not supported between instances of 'treeNode' and 'treeNode'
bigL = [v[0] for v in sorted(headerTable.items(), key=lambda p: p[1])]#(sort header table)TypeError: '这个的意思就是比较的对象不支持小于符号也就是我们的对象有问题，这里我的p[1]是节点类型 headerTable: {'p': [2, None], 'h': [1, None],
2018-02-05 16:34:15
2809
原创 矩阵与列表取出行（左开右闭）
对于矩阵：import numpysimpDat = [['r', 'z', 'h', 'j', 'p'], ['z', 'y', 'x', 'w', 'v', 'u', 't', 's'], ['z'], ['r', 'x', 'n', 'o', 's'], ['y', 'r', 'x', 'z', '
2018-02-05 11:17:29
514
转载 解决CentOS7关闭/开启防火墙出现Unit iptables.service failed to load: No such file or directory.
CentOS7中执行[plain] view plain copy print?service iptables start/stop service iptables start/stop会报错Failed to start iptables.service: Unit iptables.service failed to load: No such file or directory.在C
2018-02-02 15:24:05
393
转载 【Mybatis架构】Mapper映射文件中的#{}与${}
前言 还记得当初从北京回来的时候，跟着倪文杰师姐做Java ITOO的一卡通模块，我亲姐贾梦洁带着我一块做，期间，我遇到了一个特别奇葩的问题，就死我要实现Mybatis的模糊查询，根据当时亲姐教给我方法 select * from table where contions like #{something}，就是解决不了问题，一点东西都查不出来，还报错。后来，我终于明白，世界上还有${
2018-02-01 11:48:27
383
加密解密 数组排序
2017-07-10
javascript循环
2017-07-10
数据算法 Hadoop Spark大数据处理技巧
2018-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人