![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
WEI_69
这个作者很懒,什么都没留下…
展开
-
Hive学习笔记(一)各种连接
表和数据创建数据库create database if not exists test;use test;创建sales表creat table sales( name varchar(50), product_id int )row format delimited fields terminated by ',';创建things表create table things( produt_id int, product_name varchar(原创 2020-08-10 16:33:47 · 157 阅读 · 0 评论 -
HDFS的shell操作(大数据技术原理与应用实验内容)
#1hdfs dfs -test -e remote.txt echo $? hdfs dfs -appendToFile local.txt remote.txt #追加到原文件末尾 hdfs dfs -copyFromLocal -f local.txt remote.txt #覆盖原来文件,第一种命令形式 hdfs dfs -cp -f file:///home/hadoop/l...原创 2019-12-03 22:23:19 · 1398 阅读 · 0 评论 -
spark的RDD操作2
scala> val rawRDDA=sc.parallelize(List("!! bb ## cc","%% cc bb %%","cc && ++ aa"),3)rawRDDA: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[46] at parallelize at <console>:...原创 2019-12-03 22:20:08 · 170 阅读 · 0 评论 -
spark的RDD操作1
scala> val textFile=sc.textFile("file:///usr/local/spark/README.md")textFile: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/README.md MapPartitionsRDD[79] at textFile at <console&g...原创 2019-12-03 22:16:27 · 256 阅读 · 0 评论 -
Docker入门
–detach表示后台运行–publish 将程序的端口运行在本地主机的另一个端口–name 起名字docker container run -t ubuntu topdocker container exec -it 1db343e6dacd bashdocker container run --detach --publish 8080:80 --name nginx nginx...原创 2019-11-29 20:39:12 · 113 阅读 · 0 评论 -
大数据技术部分课后作业(第二版)
4.1Hadoop MapreduceZookeeperHDFSsqooppig&Hive利用其来处理HBase中的海量数据,实现高性能计算作为协同服务,实现稳定服务和失败恢复作为高可靠的底层存储,利用廉价集群提供海量数据存储能力Sqoop为HBase的底层数据提供导入功能提供高层语言支持4.6行键列族时间戳唯一,在一个表里...原创 2019-10-19 20:29:27 · 1337 阅读 · 1 评论