![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
keepons
Maybe I am not good enough,but you still chose me in the end .What can I to do is repay you with my whole life.----Dream
展开
-
docker安装
centos 1.在线安装 sudo wget -qo- https://get.docker.com/ |sh 如果是普通用户,再执行一个赋权限操作 sudo usermod -aG docker 用户名原创 2018-07-09 18:58:11 · 108 阅读 · 0 评论 -
spark的优势
1、速度快 比mapreduce快100倍。 2.使用方便 一大推封装好的方法。并且Scala 和java可以都是运行在jvm上 3.强通用性 有spark生态圈。 4.强适用性 可以运行在yarn等等任务分配框架上...翻译 2018-07-11 20:29:57 · 1405 阅读 · 0 评论 -
HBase学习之路 (三)HBase集群Shell操作
http://www.cnblogs.com/qingyunzong/p/8671153.html转载 2018-07-23 21:57:51 · 216 阅读 · 0 评论 -
sqoop导入导出
1.列出有多少数据库 sqoop list-databases \ –connect jdbc:mysql://192.168.85.3:3306/hadoop \ –username root \ –password Caofeng2012@ 2.简单导入HDFS sqoop import \ –connect jdbc:mysql://192.168.85.3:3306/h...原创 2018-07-19 21:08:09 · 323 阅读 · 0 评论 -
hive基础命令实验
环境 centos7 Hadoop2.6.5 hive 1.x 一. 从普通文本加载数据到hive仓库 1.使用 命令hive 进入hive命令行; 2.创建数据库 create database if not exists hivetest; 3.切换数据库 use hivetest; 4. 创建表 create table if not exists s...原创 2018-07-14 13:17:38 · 777 阅读 · 0 评论 -
hive基础知识
内部表:创建表时,默认创建的就是内部表,删除时会删除元数据(数据库中tabs中的表数据)和数据内容(hdfs dfs -ls /user/hive/warehouse/数据库名.db/表名),都会删除掉,所以内部表多用于临时表和中间表 外部表:创建时需要一个关键字external,删除时,只删除元数据,不删除数据内容,所以多用于数据源。...原创 2018-07-14 21:52:58 · 244 阅读 · 0 评论 -
scala基本语法笔记
1.类型推导 定义时可以省略类型,会根据值来推导出类型 scala> var str = “hello” str: String = hello scala> var int = 1 int: Int = 1 定义时也可明确指定类型: scala> var str2:String = “2” str2: String = 2 1.2.4 函数编程风格 ...转载 2018-08-16 21:08:04 · 134 阅读 · 0 评论 -
编写spark WorkCount字数统计代码详解
1.maven配置没有设置default setting ,导致下载依赖包的时候变慢了。以下是设置方式,一劳永逸。 2.scala-maven-plugin作用 The scala-maven-plugin is used for compiling/testing/running/documenting scala code in maven. 常见的组件作用,可以参照https:...原创 2018-09-13 22:32:11 · 1097 阅读 · 1 评论