- 博客(4)
- 收藏
- 关注
RSS订阅原创 hadoop 。HDFS存储多个目录
防止磁盘利用不均，DataNode保存数据在hdfs-site.xml的dfs.datanode.data.dir决定，默认为file://${hadoop.tmp.dir}/dfs/data。增加多个磁盘例如<name>dfs.datanode.data.dir</name><value>file:///dfs/data1,file:///hd2/dfs/data2</value>每台服务器的磁盘情况不同，这个参数不能在集群上用同配置
2022-02-23 21:42:27
1020
1
原创 hadoop的官网下载和各版本下载方法
不想看具体分析可以直接点击链接下载。1、官网：官网下载2、旧版本下载(官方的archive地址)：旧版本下载3、清华大学开源软件镜像站下载(速度较快，只有新版本)：清华大学开源软件镜像站具体流程：先贴出hadoop官方地址~hadoophttps://hadoop.apache.org/一般来说，Apache的开源软件后缀都是apache.org。hive的官网是Hivehttps://hive.apache.org/Zookeeper也一样，网址：zookeep
2021-12-27 21:52:40
75773
6
原创 Sqoop 从hive中使用export导出到mysql中，出现乱码问题
如图所示解决方案：Mysql建库时，设置编码方式为utf8。create database if not exists testDEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;character set 是字符集collate 设置排序规则。预防万一，建表也设置成utf8CREATE TABLE IF NOT EXISTS t_order_subscribe_total( DATE DATE COM...
2021-12-23 23:52:41
937
原创 hive sql，lateral view 侧写函数与 explode 应用
需求：转变为如下图格式先建表create table movie(name string,category string)row format delimited fields terminated by '\t';导入数据load data local inpath '/home/hadoop/data/movie.txt' into table movie;直接需求用explode函数直接对category操作试试报错：FAILED:..
2021-12-23 00:06:31
1401
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人