- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqoop导入到hive(parquet)
sqoop import \--connect jdbc:mysql://testurl:3306/user?tinyInt1isBit=false \--username user \--password user_passwd \--table role \--target-dir /user/hive/warehouse/test/role7 \--delete-target-dir \--outdir /tmp \--fields-terminated-by '\001' \-
2021-08-09 14:19:19
711
原创 hue 连接 hive 报错 SASL Error: no mechanism available: No worthy mechs found
资源版本: cdh 5.16.1hue 连接 hive时报错，执行下列命令yum -y install cyrus-sasl*;yum -y install python-saslwrapper.x86_64;yum -y install ruby-saslwrapper.x86_64 ;yum -y install saslwrapper.x86_64 ;yum -y install saslwrapper-devel.x86_64 ;yum
2021-08-04 15:13:39
705
原创 mysql查询数据异常，展示结果不在in集合中(已解决，未找到原因)
mysql版本5.6.16，已提前排除所有null值1 正常运行sql-- sql1select distinct waybill_no from test1 p1where p1.waybill_no in( select * --利用mysql特性，求出每个订单号时间最近的一条运单 from (
2021-07-09 16:47:36
1571
原创 数据倾斜总结
总结阿里巴巴大数据之路一 map倾斜1 概念1. 1 map的主要作用是将磁盘的数据加载到内存中，按照设定的规则，映射落地到不同的文件。1.2 map的执行者是map task，task的数量取决于分片的大小。2 导致倾斜的原因2.1 上游的文件大小不均匀，小文件过多。2.2 个别文件的单个值特别多，数据分散度不够3 方案3.1 针对2.1的问题，有以下解决思路，①在文件存入hdfs时或者存入hdfs后进行小文件合并②合理设置分片大小3.2 针对2.2问题,可以distribute
2021-07-02 18:31:10
168
原创 java基础下
三 java基础下1 IO之File类I/O相关 输入/输出 流(数据流动) 数据流动的方向 读数据(输入Input) 写数据(输出output) 文件流 字符流 对象流 网络流.... 1.什么叫文件 一种电脑的存储形式 文件有不同的格式 .txt .doc .ppt .mp4 .jpg .rar ... 文件夹?--...
2020-04-13 20:57:37
167
原创 java基础中
二 java基础中对象对象是一类事物的具体体现类里面有四个成员 1 属性：静态描述类的特征 2 方法：动态描述类的行为 3 构造方法：为了创造对象 4 代码块：创建对象前初始化参数1 属性类的第一个成员属性的格式：静态描述类的特征 权限修饰符 [特征修饰符] 属性类型 属性名字 [=赋值] 2 方法...
2020-04-13 20:56:49
198
原创 java基础上
异常错误总结ArrayIndexOutofBoundException 数组索引越界异常NullPointerException 空指针异常NegativeArraySizeException 负数组长度异常InputMisMatchException 输入类型不匹配StackOverFlowError 栈溢出错误...
2020-04-13 20:54:50
136
转载 Linux将命令添加到PATH中
Linux将命令添加到PATH中博客分类：linuxLinuxApacheBash简单说PATH就是一组路径的字符串变量，当你输入的命令不带任何路径时，LINUX会在PATH记录的路径中查找该命令。有的话则执行，不存在则提示命令找不到。比如在根目录/下可以输入命令ls,在/usr目录下也可以输入ls,但其实ls命令根本不在这个两个目录下，当你输入ls命令时LINUX会去/bin,/usr/...
2018-11-13 16:51:51
314
转载 编译nginx 错误
转载请标明出处 http://coderknock.com安装过程 从 http://nginx.org/download/nginx-1.9.15.tar.gz 下载nginx包(或者wget http://nginx.org/download/nginx-1.9.15.tar.gz直接在Linux上用命令下载) 解压并转到目录下tar -zxvf nginx-1.9....
2018-10-19 20:11:56
1278
转载 转载，linux常用查看硬件设备信息命令
系统# uname -a # 查看内核/操作系统/CPU信息# lsb_release -a # 查看操作系统版本 (适用于所有的linux，包括Redhat、SuSE、Debian等发行版，但是在debian下要安装lsb) # cat /proc/cpuinfo # 查看CPU信息# hostname ...
2018-09-28 14:22:53
234
转载 指定特定ftp目录
指定用户登陆指定目录：【可以cd 到其他目录】#yum -y install vsftpd#useradd -s /sbin/nologin tom#passwd tom#vim /etc/vsftpd/vsftpd.confuser_config_dir=/etc/vsftpd/persure [添加这一行]#mkdir /etc/vsftpd/persure#vim /etc...
2018-09-18 21:52:21
4201
原创 python3基础知识
1 序列列类型数据结构的特点介绍（1）数据结构分类Python3 中基本可以分为:序列列类型: 字符串、列表、元组、Unicode字符串,buffer对象,range对象泛映射类型: 字典集合: set()（2）序列列类型数据结构共有的特点:序列列类型中的元素都有对应的位置,这个位置叫偏移量量或者索引2. 列列表特性介绍和创建（1）列表的主要特点列表的元素可以是 Py...
2018-08-17 12:00:53
231
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人