hadoop
文章平均质量分 80
图特摩斯科技
数据库方向-图数仓的发明者,时序、多维、异构、动态+静态知识图谱数据库AbutionGraph发明者。
展开
-
ubuntu搭建Hadoop+spark+mysql+hive伪分布学习环境
之前使用的ubuntu14.10被我玩坏啦,等了16.04好久终于换上了,体验还不错,就是软件中心不能装软件。下面重新安装一遍Hadoop/Spark的学习环境。都选择了最新的。原创 2016-04-23 14:29:43 · 5297 阅读 · 4 评论 -
Ubuntu16.04创建HDFS-NFS文件共享
hadoop-2.7.2版本下:raini@biyuzhe:~/app$ sudo apt-get install nfs-kernel-server (先安装NFS)raini@biyuzhe:~/app$ sudo mkdir /mnt/hdfs 建立一个nfs服务的专有的文件夹;sudo gedit /etc/exports在最后一行加入: /mnt/hd原创 2016-04-24 15:52:32 · 4292 阅读 · 0 评论 -
put: Cannot create file/database/test/asoku_us_2016-07-13._COPYING_. Name node is in safe mode.
[root@master home]# hadoop fs -put /home/tmp/test.txt /database/test/asoku_us_2016-07-13put: Cannot create file/database/test/asoku_us_2016-07-13._COPYING_. Name node is in safe mode.解决:原创 2016-08-12 20:00:27 · 3779 阅读 · 0 评论 -
MapReduce任务参数调优
http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/本文主要记录Hadoop 2.x版本中MapReduce参数调优,不涉及Yarn的调优。Hadoop的默认配置文件(以cdh5.0.1为例):core-default.xmlhdfs-default.xmlmapred-default.xml说明:转载 2016-09-23 15:05:46 · 677 阅读 · 0 评论 -
大数据平台搭建:Hadoop-3.x + Spark-2.x + Hive-2.x + Hbase-1.4 + Phoenix-4.14 + Cassandra + ES
换了新笔记本,做个笔记。一,软件准备(自取所需)Java-1.8Scala-2.11Hadoop-3.1.1Spark-2.3.2Hive-2.3.4phoenix二,SSH免密码登录(即使是当地的单机也需要SSH,否则格式化的hadoop的存储系统时无权限,导致失败:本地主机:@localhost:权限被拒绝(公钥,密码)开始)ssh免密两步骤(...原创 2018-10-24 18:28:24 · 6504 阅读 · 4 评论