大数据
文章平均质量分 64
phphhhp
这个作者很懒,什么都没留下…
展开
-
大数据之Linux环境及软件版本
linux版本:CentOS 6.4 + 本地登录到远程服务器:ssh hadoop@192.168.X.X 登录密码:X linux的hadop用户(/home/hadoop)上创建目录: app 所有软件的安装目录 data 测试数据 lib 开发的jar software 软件的安装包的目录 souce 框架源码 如果需要root权限 直接用sud原创 2018-02-19 14:50:02 · 1286 阅读 · 0 评论 -
HDFS架构
1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN) HDFS/YARN/HBase 1个文件会被拆分成多个Block blocksize:128M 130M ==> 2个Block: 128M 和 2M NN: 1)负责客户端请求的响应 2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理 DN: 1)存储用户的原创 2018-02-21 23:13:20 · 187 阅读 · 0 评论 -
大数据入门之Scala学习——基础篇
Scala学习——基础篇 一、环境搭建 1、启动Scala解释器 (1)安装Scala; (2)确保scala/bin目录位于系统PATH中; (3)打开命令行窗口,键入scala并按Enter键。 2、IDE(based on Eclipse IDE) (1)下载相应版本 IDE; (2)解压。 在IDE中新建Scala Worksheet(跟REPL类似)。 二、基础转载 2018-02-24 19:54:37 · 474 阅读 · 0 评论 -
2018年,Java程序员转型大数据开发,是不是一个好选择?
近日网上有一篇关于Java程序员职场生存现状的文章“2017年 Java 程序员,风光背后的危机”,在Java程序员圈子里引起了广泛关注和热议。2017年,Java 程序员面临更加激烈的竞争。不得不承认,经历过行业的飞速发展期,互联网的整体发展趋于平稳。为什么这么说?为什么要放在 Java 程序员的盘点下说?的确,对于进可攻前端,后可守后端大本营的 Java 程序员而言,虽然供应逐年上涨,但是市场...转载 2018-03-04 01:25:45 · 3551 阅读 · 0 评论 -
启动hadoop 2.6遇到的datanode无法启动
1.问题用./start-dfs.sh启动hdfs,并没有DataNode节点,用jps查看只有9235 NameNode9646 Jps9535 SecondaryNameNode2.查看日志注意查看.log的文件,这是相关日志,而不是看.out文件,把日志路径的out改为log,部分日志2018-03-12 11:06:44,986 INFO org.apache.hadoop.ipc.Ser...原创 2018-03-12 11:44:50 · 518 阅读 · 0 评论 -
Hadoop伪分布式安装步骤之hdfs
本篇是hdfs的安装所用版本:hadoop-2.6.0-cdh5.7.0.tar.gz1)jdk安装解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app添加到系统环境变量: ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATH...原创 2018-02-21 23:25:11 · 326 阅读 · 0 评论 -
spark编译中的坑
spark编译中难免会遇到坑,现在总结下目前遇到的坑前置要求:1)Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+2)export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"2种方式编译spark1.mvn编译命令:./build/mvn -Pyarn ...原创 2018-03-29 23:35:45 · 794 阅读 · 2 评论