![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 74
一个不会写代码的小黑
君子之交淡如水,小人之交甘若醴。
展开
-
hdfs操作
查看路径hadoop fs -ls <目录>上传hadoop fs -put <目录>下载hadoop fs -get <目录>查看文件内容hadoop fs -cat <完整路径>创建目录hadoop fs -mkdir <目录>删除hadoop fs -rm -r <路径>复制hado...原创 2019-10-16 17:12:43 · 151 阅读 · 0 评论 -
HBase预分区
什么是预分区?HBase提供了预分区功能,即用户可以在创建表的时候对表按照一定的规则分区。HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时,表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的性能有巨大的影响。预分区...转载 2019-04-24 09:35:46 · 178 阅读 · 0 评论 -
redis+mysql结合使用
redis-mysqlmysql:数据放在磁盘是关系型数据库,主要用于存放持久化数据,redis:数据放在内存 AOF:增量更新 RDB:覆盖是NOSQL,非关系型数据库,redis和mysql的区别总结(1)类型上从类型上来说,mysql是关系型数据库,redis是缓存数据库(2)作用上mysql用于持久化的存储数据到硬盘,功能强大,但是速度较慢redis用于存储使用较为频...转载 2019-04-09 21:42:15 · 10053 阅读 · 0 评论 -
hive报错MetaException(message:An exception was thrown while adding/validating class
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column '...原创 2019-04-11 16:09:26 · 5045 阅读 · 3 评论 -
数据仓库复习索引
数据仓库数据仓库是一个 面向主题的、集成的、随时间变化的、非易失的数据集合,用于支撑管理者的决策过程。数据仓库中的粒度是指数据的细节或汇总成度。细节程度越高,粒度级别越低数据仓库的数据来自各个业务应用系统很多因素导致直接访问业务无法进行全局数据分析的工作,这也是需要一个数据仓库的原因所在操作系统是一类专门用于管理面向十五的应用信息系统,而分析型系统是一种快速回答多维分...原创 2019-02-20 12:48:12 · 695 阅读 · 0 评论 -
创建JOB 查看JOB 执行JOB 删除JOB
1、创建一个Job``sqoop import \--connect jdbc:mysql://cdh:3306/bap_ods \--username root \--password daisongchen \--table user \--delete-target-dir \--target-dir /hive/hadoop/ods_user \;```2、查...原创 2019-01-09 17:24:54 · 863 阅读 · 0 评论 -
zookeeper
zookeepe基础什么是zookeeperzookeeper是一个分布式协调服务,就是为用户的分布式程序提供协调服务zookeeper是为别的分布式程序提供服务的zookeeper本身也是一个分布式应用程序(只要有半数以上的节点存活,就可以对外提供服务)zookeeper的功能1、为用户提供数据的注册查询功能2、为用户提供数据监听服务3、通过心跳感知用户状态特点一个lead...原创 2018-11-30 20:48:54 · 292 阅读 · 0 评论 -
hadoop
Hadoop生态圈HDFS:分布式文件系统YARN:分布式资源调度系统MAPREDUCE:分布式计算框架HIVE:数据仓库工具 HBASE:分布式海量数据库ZOOKEEPER:分布式协调服务基础组件MAHOUT:基于mapredue、spark、flink等分布式计算框架的机器学习算法库OOZIE/AZKABAN:工作流调度平台SQOOP:数据导入导出工具FLUME:分布式...原创 2018-11-23 09:55:52 · 3210 阅读 · 0 评论