hadoop
文章平均质量分 90
骄阳如火
这个作者很懒,什么都没留下…
展开
-
hadoop配置过程
最近在学hadoop,hadoop的配置之前配置过,这次重新配置一次加深下印象,配置过程自己简单罗列了一下,比较简单,可能只有自己能看懂吧,以后有时间完善下。1、安装jdk2、安装hadoop3、配置xml文件(有挖坑了,file文件夹一定要写对,file:/usr...)4、启动: 先执行:hadoop namenode -fromat原创 2016-07-26 11:10:25 · 338 阅读 · 0 评论 -
python在hadoop上运行
1、命令样式: hadoop jar $STREAM \-files ./mapper.py,./reducer.py \-mapper ./mapper.py \-reducer ./reducer.py \-input /user/$(whoami)/input/*.txt \-output /user/$(whoami)/output hadoo原创 2016-09-01 16:15:37 · 866 阅读 · 0 评论 -
hive安装过程
1:MySQL server + hive metastore service (hadoop2)安装MySQL[root@hadoop9 hadoop]# mysql -uroot -p mysql> grant all on *.* to mysql@'%' identified by 'mysql' with grant option; mysql> crea原创 2016-08-25 09:50:51 · 644 阅读 · 0 评论 -
hive错误解决
参考链接: http://www.yiibai.com/hive/hive_installation.html安装完hadoop之后按照链接中的步骤安装hive和derby然后现在hive的bin目录下执行 mv metastore_db metastore_db.tmp 然后执行schematool -initSchema -dbType derby然后执行./hiv原创 2016-08-25 09:52:49 · 1175 阅读 · 0 评论 -
centos7安装CDH记录
https://blog.csdn.net/qq_37667074/article/details/787315291、下载文件1.1 下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载jdk1.8下载cdhCloudera Manager下载地址: http://a...原创 2018-05-19 11:52:52 · 2801 阅读 · 0 评论 -
Docker安装pyspark及验证
通过打好的包安装 下载后的配置好的文件的目录结构如下,文件下载地址: 链接:https://pan.baidu.com/s/1i8yO2X25TZ0ofSEXPmIq-g 密码:akfq├── apt.conf ├── build_network.sh ├── build.sh ├── config │ ├── apt.conf │ ├── core-site.xml │ ├─...原创 2018-07-02 11:39:22 · 1824 阅读 · 0 评论