大数据
HappyBearZzz
这个作者很懒,什么都没留下…
展开
-
Amabri 2.4 HDP 2.5的安装
1.修改静态IP/etc/sysconfig/network-scripts/ 设置静态ipHWADDR=00:0C:29:0A:72:DETYPE=EthernetBOOTPROTO=dhcpDEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTO原创 2018-01-10 19:03:17 · 271 阅读 · 0 评论 -
Spark2.0功能测试和日志查看
一、spark2.0功能测试1.Spark-shell在spark的sbin使用spark-shell命令开启,使用如下例子测试:scala>val file=sc.textFile("hdfs://namenode:9000/user/hadoop/input/core-site.xml")scala>val count=file.flatMap(line=>line.split原创 2018-01-10 18:52:23 · 2049 阅读 · 0 评论 -
实现Alluxio访问Oracle中的数据
实现方式:1.可以使用java程序通过JDBC连接到oracle数据库,然后使用Alluxio的java API将从数据库中读取到的数据写入到Alluxio中;2.可以使用java程序通过JDBC连接到oracle数据库,将数据表内容写出为文件,然后使用Alluxio的alluxio fs copyFromLocal命令将本地文件写入到Alluxio中;3.另外,经过查阅资料得原创 2018-01-10 18:31:06 · 700 阅读 · 0 评论 -
Alluxio不同存储层(mem,ssd,hdd)的测试
Alluxio是一个基于内存的分布式文件系统,它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件,主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。1、在ubuntu中安装hadoop2.7.1到/usr/local/hadoop文件夹下,hadoop用户可以通过sbin中start-all.sh启动,通过stop-all.sh来关闭;2、安装分布式内存文件系统a原创 2018-01-15 10:45:31 · 2048 阅读 · 1 评论 -
Ubuntu14环境中安装Sqoop1.99.5
环境:Ubuntu14.04 64位alluxio-1.3.0安装位置:/usr/local/alluxio-1.3.0hadoop2.7.1安装位置:/usr/local/hadoopSqoop1.99.5安装到/usr/local/sqoop:1.下载并解压sqoop源程序sudo tar -zvxf sqoop-1.99.5-bin-hadoop200.tar.g原创 2018-01-10 18:29:02 · 271 阅读 · 0 评论 -
Spark2.0语法测试
1.Sparkcontext对象和RDDs弹性分布式数据集1)textFile加载文件数据集:scala> val lines = sc.textFile("/user/hadoop/helloSpark.txt")lines: org.apache.spark.rdd.RDD[String] = /user/hadoop/helloSpark.txt MapPartitionsRDD原创 2018-01-10 18:41:58 · 470 阅读 · 0 评论 -
Spark2.0使用手册
1.spark集群的开启1)在hadoop的sbin目录下使用start-dfs.sh和start-yarn.sh命令开启dfs集群;2)在spark的sbin目录下使用start-master.sh和start-slaves.sh命令开启Master和Worker;3)在hadoop的sbin目录下使用mr-jobhistory-daemon.sh start historyserv原创 2018-01-10 18:43:11 · 1490 阅读 · 0 评论 -
Spark集群安装
一、安装hadoop2.7.1集群,提供spark处理的hdfs文件,以及存储spark处理完的文件Vmware中三台ubuntu14虚拟机用户名、组名、密码均为hadoop,无密码登录;1)关闭VMware的NAT模式下的DHCP;2)根据VMnet8的网段来分配三个节点的静态IP;192.168.80.129 NameNode192.168.80.131 DataNod原创 2018-01-10 18:43:53 · 244 阅读 · 0 评论