qq_44758580的博客

原创 sqoop从Oracle导入hive报错

问题1:No primary key could be found for table xxx. Please specify one with --split-by or perform a sequential import with ‘-m 1’原因:被抽取的Oracle表没有主键,并且sqoop脚本中开启了并行.解决方法:给Oracle表添加主键,不用修改sqoop脚本;或者不用添加主键,但是要在sqoop脚本中添加参数(-m默认是4,需要指定为1):--hive-import -m 1

原创 hive的不等于＜＞会过滤null值

select * from ads_hive.testtable where clmno <> ‘N011’;where 条件中使用<>进行判断, 返回结果中会将clmno字段为null的数据也过滤掉.处理方法:1.where (clmno <> ‘N011’ or clmno is null);2.如果上一层有清洗, 也可以在上一层清洗时处理clmno字段的null值,比如,if(clmno is null,concat(‘null_’,cast(rand()

原创 hive自定义UDF_入门

原创 Hive：写好UDF后，测试时报错：找不到或无法加载主类

Hive：写好UDF后，测试时报错：找不到或无法加载主类欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入问题：自定义了一个UDF实现MD5加密，但是在main方法中测试时报错：处理方法：

原创 2021-10-14

hive的正则函数1.用hive的rlike函数替换Oracle的regexp_like函数：Oracle原有逻辑：(CASE WHEN REGEXP_LIKE(column_a, '^([0]+|[1]+|[2]+|[3]+|[4]+|[5]+|[6]+|[7]+|[8]+|[9])') AND LENGTH(column_a)=8 THEN '人员代码' ELSE column_a END) AS C102,迁移到hive中：(CASE WHE

原创 win10环境maven安装配置

入坑几个月,拿来一台空电脑,发现连maven都不会安装.搜索各方资料,记录如下:1.官网下载maven: http://maven.apache.org/download.cgi2.解压到D盘software目录下.(3.6.1)上面那个是坏的~3.然后配置环境变量:桌面右键点击此电脑>属性>高级系统设置>环境变量>在系统环境变量中新建变量名(N): 填写M2_...

原创 servlet调用过程

servlet 的调用过程1、浏览器地址栏输入一个地址会发送http请求到服务器。2、在服务器端收到请求后通过DNS解析器解析域名成为IP地址，找到对应的服务器。3、然后在请求头Host中确定请求的是当前虚拟主机。4、通过请求资源路径确定请求的是当前的web应用的当前web资源。5、再通过web.xml配置文件中的<servlet>标签，<servle...