![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
leileihhxx
这个作者很懒,什么都没留下…
展开
-
hadoop 。HDFS存储多个目录
防止磁盘利用不均,DataNode保存数据在hdfs-site.xml的dfs.datanode.data.dir决定,默认为file://${hadoop.tmp.dir}/dfs/data。增加多个磁盘例如<name>dfs.datanode.data.dir</name><value>file:///dfs/data1,file:///hd2/dfs/data2</value>每台服务器的磁盘情况不同,这个参数不能在集群上用同配置原创 2022-02-23 21:42:27 · 1034 阅读 · 1 评论 -
hadoop的官网下载和各版本下载方法
不想看具体分析可以直接点击链接下载。1、官网:官网下载2、旧版本下载(官方的archive地址):旧版本下载3、清华大学开源软件镜像站下载(速度较快,只有新版本):清华大学开源软件镜像站具体流程:先贴出hadoop官方地址~hadoophttps://hadoop.apache.org/一般来说,Apache的开源软件后缀都是apache.org。hive的官网是Hivehttps://hive.apache.org/Zookeeper也一样,网址:zookeep原创 2021-12-27 21:52:40 · 79115 阅读 · 8 评论 -
Sqoop 从hive中使用export导出到mysql中,出现乱码问题
如图所示解决方案:Mysql建库时,设置编码方式为utf8。create database if not exists testDEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;character set 是字符集collate 设置排序规则。预防万一,建表也设置成utf8CREATE TABLE IF NOT EXISTS t_order_subscribe_total( DATE DATE COM...原创 2021-12-23 23:52:41 · 956 阅读 · 0 评论 -
hive sql,lateral view 侧写函数与 explode 应用
需求:转变为如下图格式先建表create table movie(name string,category string)row format delimited fields terminated by '\t';导入数据load data local inpath '/home/hadoop/data/movie.txt' into table movie;直接需求用explode函数直接对category操作试试报错:FAILED:..原创 2021-12-23 00:06:31 · 1424 阅读 · 1 评论