- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Cloudera Manager5.8.0离线安装记
目录目录安装说明有关数据库配置关于Oozie数据库配置关于Hue数据库配置附其他数据库的配置错误解决错误1CM Server启动出错错误2CM Agent启动出错错误3spark启动出错附录参考安装说明安装参考官方文档：Cloudera Enterprise 5.8.x Documentation和Installation Path C - Manual Installati
2016-08-21 23:57:42
7153
原创 Jupyter配置Spark开发环境
效果图简介Spark Kernel的安装Spark Kernel旧的项目Toree新项目Spark组件单独安装Scala Kernel的安装PySpark的安装效果图无图无真相，以下是运行截图，Jupyter运行界面： 作业监控界面： 简介为Jupyter配置Spark开发环境，可以安装全家桶–Spark Kernel或Toree，也可按需安装相关组件。考虑到一般人更喜欢一步到位，
2016-08-30 20:34:12
12838
2
原创 Linux下端口占用查看
相关命令查看端口是否被占用： 通过过滤查看：netstat -anp | grep port 查看特定端口：lsof -i:port查看端口被哪个进程占用： netstat -anp | grep port或lsof -i:port 显示结果的有进程id， 再ps -ef | grep pid即可查看进程（如java进程）使用的端口： ps -aux | grep java 找到
2016-08-29 11:59:53
830
原创 PostgreSQL中的注意点
注意点1在pgAdmin中，有些数据表的内容可以编辑，某些却不可以。发现如果表不设置主键的话是没法编辑的，只有设置主键后才可以双击编辑。注意点2使用命令pg_ctl -D /var/lib/pgsql/data -l logfile stop停止数据库时，一直没有停止。打开pgAdmin，断开该数据库的连接。重新stop后马上停止。
2016-08-28 23:19:27
976
原创 Java中错误记录
错误1—int cannot be converted to long执行如下java代码，想通过强制类型转换将int转为long时，报错：int cannot be converted to long。int a = 80;Long b = (Long) a;参见Stack Overflow–Converting Integer to Long，选择其一解决方案，Integer i = 7;L
2016-08-28 22:52:47
1121
原创 Fedora21升级到22
升级步骤Fedora21升级到22的命令很简单，如下sudo dnf update #升级全部包到最新sudo dnf install fedup #安装升级工具fedupsudo fedup --network 22 #开始升级升级中碰到的问题1. 问题1Downloading failed: GPG key retrieval failed: [Errno 14] cur
2016-08-27 20:58:39
834
原创 linux下文件统计
统计文件个数查看某文件夹下文件的个数（非递归）：ls -l|grep "^-"| wc -l查看某文件夹下文件的个数（递归）：ls -lR|grep "^-"| wc -l查看某个文件夹下文件夹的个数（非递归）：ls -l|grep "^d"| wc -l查看某个文件夹下文件夹的个数（递归）：ls -lR|grep "^d"| wc -l查看文件夹下所有的文件和文件夹：ls -l| wc
2016-08-22 23:38:03
972
原创 关于Hadoop Metrics
简介Metrics的英文含义是“度量”，这里可以理解为“监控指标”。关于Hadoop的Metrics，官网直接给出了总结，初学者很难理解，以下以HDFS为例来说明。打开HDFS Web UI — http://namenode:50070/dfshealth.html#tab-overview，如下所示， 从该网址我们可以得到整个集群容量（HDFS）的各种信息，实际上上述信息也可以通过请求ht
2016-08-21 23:04:47
6087
原创 Python中的局部和全局变量
示例1：修改全局变量值在函数中使用global关键字表示使用（修改）的是全局变量。num = 100def func(): global num num = 200 x = num + 100 print(x) #print 300func()print num # print 200示例2：局部同名变量优先函数中定义同名的变量时，优先使用该局部变量。num =
2016-08-10 14:21:49
1058
原创 HDFS研究----.Trash文件
回收文件策略1. 默认的回收策略通过对每个DN设置参数fs.trash.interval的值，来指明删除区间。如下，设置回收时间间隔为1440min，即1天。<property> <name>fs.trash.interval</name> <value>1440</value> <description>Number of minutes between trash checkpoin
2016-08-04 19:32:23
2626
1
原创 vim中的搜索替换
关于搜索全局搜索/实现全局搜索。区域搜索参见链接1和链接2，最简单的办法是： 在Visual模式下选定特定区域，按Esc回到Normal模式，输入/\%V后再输入所需查找单词即可。可以将上述步骤映射到快捷键，:vnoremap <M-/> <Esc>/\%V "即选中区域后按Alt-/搜索当前光标下单词搜索当前光标下的单词，见链接3，按 *或#即可。关于替换全局替换:%s/from/to/
2016-08-03 17:35:53
484
原创 CDH安装概览篇
说明CDH安装有好几种方式，新手容易困惑，故总结之。官网介绍参见官网–安装 Cloudera Manager、CDH 和受管服务，实际上总共有6个阶段， 每个阶段都有不同的方式可以完成。见下图，根据上述说明，在安装Cloudera Manager阶段时，共有A、B、C三种方式可以完成，方式A是通过运行cloudera-manager-installer.bin文件的方式在线安装方式B是通过yu
2016-08-03 11:29:39
769
mahout-examples-0.9-job.jar（修改版）
2015-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人