- 博客(32)
- 收藏
- 关注
RSS订阅原创 Sqoop同步mysql数据导hive中，--query 参数中，字段有特殊字段、关键字处理方法
Sqoop同步mysql数据导hive中，–query 参数中，字段有特殊字段、关键字处理方法sqoop import --connect "$jdbcurl" \--username $username \--password $password \--columns "id,name,describe,created_at,updated_at,deleted_at" \--query "select id,name,\`describe\`,created_at,updated_at,del
2021-02-26 14:22:58
1363
原创 sqoop连接mysql问题 Access denied for user ‘root‘@‘hdp3‘ (using password: YES)，原因mysql密码特殊字符在sqoop参数中有限制
sqoop连接mysql问题 Access denied for user ‘root’@‘hdp3’ (using password: YES)，原因mysql密码特殊字符在sqoop参数中有限制不适用脚本变量，密码直接写在参数上，并且用单引号jdbcurl="jdbc:mysql://localhost:3306/web_tmp?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false"username="root"#p
2021-02-26 14:12:48
876
2
原创 Excel高手都不用写函数，直接一条SQL语句就完成，效率还非常高，SQL操作excel实战
且行且珍惜提升职场技能，关注公众号：一点IT技术 ！学习更多IT技能！！！大数据时代，最不缺的就是数据，最缺的如何获取有价值的数据，前几期，我们分享了一些Excel中常用函数以及技巧的使用，虽然函数作为Excel的核心灵魂，但是对于我们来说，要记住那么多函数，还是相当困难的，而且随着业务的不断发展，对数据的分析等要求也越来越复杂。我们看下面这个简单需求，需要筛选出总分大于230的数据。这个需求使用函数来完成的话，当然也不会很复杂，但是如果筛选条件再多一些，就会比较复杂了，这样会造成后期维护比较
2020-05-31 23:12:17
2983
原创 Excel条件求和函数的超实用技能，真的都掌握了吗？
关注一点IT技术！学习更多IT技能, 点击一点IT技术即可关注哦前言职场中，不管你是什么职位，Excel表格是你一定要会的技能，大到CEO，小到普通员工，都是必备技能。常说的精通Excel,至少你要做到４＋１，４个核心函数VLOOKUP、IF、SUM、SUMIF，1个数据透视表。前面几期，我们分享了一些常用函数的用法，今天我们分享一下SUMIF和SUMIFS的用法。正文不少朋友提到求和，或多或少有点老生常谈的感觉吧，不就是SUM一下吗？但是如果附加一些限制条件呢？用SUM还可以实现吗？请看我们下面
2020-05-27 21:38:59
314
原创 你还在用繁琐的函数做Excel报表吗？太out了！赶紧看下数据透视表这个高效的功能……
关注一点IT技术！学习更多IT技能, 点击一点IT技术即可关注哦前言职场中，不管你是什么职位，Excel表格是你一定要会的技能，大到CEO，小到普通员工，都是必备技能。常说的精通Excel,至少你要做到４＋１，４个核心函数VLOOKUP、IF、SUM、SUMIF，1个数据透视表。前面几期，我们分享了一些常用函数的用法，今天我们进入数据透视表环境。正文数据透视表是一种交互方式报表，可以快速分类汇总比较大量的数据，并可以随时选择其中页、行和列中的不同元素，已达到快速查看源数据的不同统计结果。通过下
2020-05-26 15:37:40
431
原创 这几个Excel公式解决了困扰你多年的一些难题
关注一点IT技术！学习更多IT技能, 点击一点IT技术即可关注哦前言职场中，不管你是什么职位，Excel表格是你一定要会的技能，大到CEO，小到普通员工，都是必备技能。今天一点IT技术给大家分享几个比较有趣的函数公式，有很多场合可以帮助大家提高工作效率的。正文平时工作中，可能很多小伙伴，都需要往表格中录入内容，后面需要修改时，数据多了之后，可能就比较难找到需要修改的数据了。但是，Excel中有这样一个功能，记录时间，根据记录的时间,就很容易找到需要修改的数据了,这项功单单听起来就感觉很牛，确实是很牛
2020-05-25 16:21:01
334
1
原创 Excel中必备的三种反向查询技能，再不会就晚了
Hello，大家好，我是一点IT技术，关注一点IT技术，关注更多IT技术！前言上几期，我们分享了LOOKUP家族中LOOKUP、VLOOKUP、HLOOKUP函数的使用，都是基于正向查询使用的，今天要给大家分享的这篇干货是Excel中三种可以实现反向查询的功能。正文反向查询在我们实际工作中也是必须会的一种技能，我们通过一个例子来研究反向查询的实现方法。如上图，我们需要根据成绩来反向查询学生姓名，这样的查询，其实用VLOOKUP、LOOKUP、INDEX+MATCH都是可以做到的。VlOOKU
2020-05-25 16:19:15
1595
原创 Excel的这些快捷键和函数让你相见很晚，可以让别人眼前一亮……
大家好，我是一点IT技术团队主编，今天要为大家带来的这些Excel技能，能让你心涌湃，相见恨晚的感觉，同时，你学会了，会让别人眼前一亮……Excel专辑上一期，我们详细讲解了Vlookup函数初级的使用，以及组合其它函数的高级用法，这期要给大家带来的是它的孪生兄弟HLOOKUP函数，以及一些让你相见恨晚的神操作干货。 HLOOKUP函数中的是" horizontal"的简写，所以我们从字面可以理解这个函数是水平查找的，就是按行查找，语法格式为：=HLOOKUP(要查找的值，查找区域，返回哪一行的值，查找模
2020-05-20 07:54:13
337
原创 Flink面试时陷阱广播变量与累积加器的区别……
要说当代大数据最火最热的计算框架，那非Flink莫属了，当前如果你要从事大数据开发工作，Spark、Flink主流大数据计算框架，是每个大数据程序员必备的技能，可以说你不会Spark、Flink几乎是寸步难行，重要性就如同java开发中的Spring全家桶套餐。Flink中有两个概念，很可能会被你忽略，Flink Broadcast和Accumulators的区别。而且面试官也会经常问，以此来评估你Flink的基础是否牢固程度。Flink广播变量，使用广播变量的好处：每个节点的executor有一个副
2020-05-19 07:53:38
693
原创 Flink实时流计算入门系列-广播变量使用（二）
总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点，可以直接在内存中拿数据，避免了大量的shuffle，导致集群性能下降。我们可以把一个dataset 或者不变的
2020-05-17 22:09:45
509
原创 Excel职场中必须会的高级查询函数……
她来了，她来了，带来了史上最详细的VLookup函数解说案例……手把手带你走入VLOOKUP函数的神秘大门……Excel函数中最受欢迎的有三大家族，一个是以SUM函数为首的求和家族，一个是以VLOOKUP函数为首的查找引用家族，另外一个就是以IF函数为首的逻辑函数家族。纵观职场，根据二八定律，学好这三大家族的函数，就能完成80%的Excel工作。如果VLOOKUP函数曾几何时，是困扰你多年的噩梦，那就请跟一点IT技术来学习它吧。 如下表，知道课程编号、名称，需要根据D列的课程编号查找对应课程名称，在E2中
2020-05-16 23:39:23
305
原创 Flink实时流计算入门系列（一）
阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。Flink认为有界数据集是无界数据流的一种特例，所以说有界数据集也是一种数据流，事件流也是
2020-05-14 06:59:35
1985
原创 Excel高级应用高频使用函数汇总
Excel中的这些高频使用函数，都是你工作中必须具备的技能，不得不知道……大家好，我是一点IT技术，今天给大家准备的是Excel中一些使用频率很高的函数。在工作应用中，使用最多的就是求和函数。求和函数有三个：无条件求和SUM函数、条件求和SUMIF函数和多组数据相乘求和SUMPRODUCT函数。一、无条件求和SUM函数该函数是求30个以内参数的和。公式为 = SUM（参数1，参数2，…,参数N），当对某一行或某一列的连续数据进行求和时，还可以使用工具栏中的自动求和按钮。二、条件求和SUMIF函数S
2020-05-14 06:41:25
5595
原创 hive语句中含有特殊符合$,导致使用hive -e "语句"时，引用不到变量
最近遇到的问题，由于hive语句中字段包含特殊符号，使用反引号来引用字段‘，使用反引号来引用字段`，使用反引号来引用字段‘id` ，没有问题。但是因为我要在shell里循环多个日期跑，使用hive -e "语句"时，却报错，最后排查是因为hive -e后面接双引号的话，会导致反引号失效，导致shell认为$id是参数。解决方式：需要用hive -e '语句’来执行，并且将语句中本来判断条件的单引号换为双引号，需要传参的地方，用双引号+单引号参数即"‘参数’"的形式。...
2020-05-11 10:57:40
1645
原创 Excel高级应用专题-数组公式
这个奇特的函数就是数组公式，数组公式特点就是可以同时进行多重计算，并返回一种或多种结果的公式。在数组公式中使用两组或多组数据称为数组参数，数组参数可以是一个数据区域，也可以是数组常量。数组公式中的每个数组参数必须有相同数量的行和列。从数组公式的输入、编辑、删除、应用四个方面来讲解数组公式一、数组公式的输入数组公式输入步骤如下：选定单元格式或单元区域。如果数组返回一个结果，单击需要输入数组公式的单元格；如果数组返回多个结果，则需要选定需要输入数组公式的单元格区域。输入数组公式： ={10，20，30，
2020-05-11 09:40:41
1002
原创 wifi又被隔壁老王蹭了，这样设置路由器，老王再也蹭不了你的wifi了……路由器设置实用教程基础篇
带宽100M的光纤怎么网速怎么还是这么慢呀？刚改完wifi密码，wifi又被隔壁老王蹭了？谁发明的wifi破解软件，真……百兆光纤，我的上网速度还是这么慢，怎么回事呀？然后一顿吐槽运营商……隔壁老王为什么每次都可以蹭到我的网络？wifi破解软件太强大了吧，我怎么改密码，都能破解，密码长到我都快记不住了！真相真的是wifi破解软件太强大，怎么设置改密码都能破解吗？其实不是的，真相是因为你家的路由器设置没设置好。你家wifi被隔壁老王蹭，是因为你把路由器买回来，插上网线插上电，配了个wifi密码，就开始使
2020-05-09 09:30:12
482
原创 Shell定期删除Mysql中的过期数据
定期删除#!/bin/bashHOSTNAME="192.168.111.22" #数据库信息PORT="3306"USERNAME="root"PASSWORD="123456" DBNAME="test" ...
2020-04-26 18:54:06
541
1
原创 spark读取mysql某列值，封装成List集合
spark读取mysql某列值，封装成List集合def main(args: Array[String]) = { Logger.getLogger("org").setLevel(Level.ERROR) val sparkSession = SparkSession .builder() .master("local[*]") .ap...
2020-04-26 16:33:55
1169
原创 Spark 运行警告：spark.debug.maxToStringFields
spark运行报错Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf.可以设置一个参数.config(“spark.debug....
2020-04-26 12:08:26
2421
原创 Scala封装获取读取配置文件类
Scala封装获取读取配置文件类object GetPropertiesUtils { def getProperties(fileName:String,key:String)={ val prop = new Properties() val inputStream = GetPropertiesUtils.getClass.getClassLoader.getRes...
2020-04-23 09:53:07
530
原创 Impala与hive语法差别之一count()函数的使用区别
报错信息：AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT user_id)deviating function: count(DISTINCT CASE WHEN status = 1 THEN user_idELSE NU...
2020-04-12 19:10:40
1963
原创 常用软件微信、QQ官方下载方法
是否还记得你第一次自己下载安装软件是什么时候吗？大一刚上大学？还是高中时代?回想起当时的情景，是不是有种无从下手的感觉？花了不少时间，下载了安装程序，安装完，结果发现却货不对版，不是你想要的软件，或者是一桌面的广告程序，不断在安装捆绑程序，关也关不掉，有种想关机解决一切的想法？多年过去了，现在互联网爆发的时代，你每次换新电脑或者到一家新公司上班的时候，是否还在为安装常用软件而烦恼？或者需要找公司的...
2020-04-10 11:38:43
1655
原创 关于HQL使用count()报错的坑
报错信息：AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT user_id)报错代码如下select grad_id, count(distinct user_id) as total_users, cou...
2020-04-08 22:00:19
1756
原创 Hive查询时不加limit报错
执行sql语句不加limit时报错：Unknown HS2 problem when communicating with Thrift server.Error: org.apache.thrift.transport.TTransportException: java.net.SocketException: 断开的管道 (Write failed) (state=08S01,code=0)...
2020-03-09 06:10:41
1346
原创 hadoop一直开机一直处于安全模式
查询集群健康状态hdfs fsck 发现有1860个快损坏/weblog/dim_time.dat: MISSING 1 blocks of total size 601 B.Status: CORRUPT Total size: 27258959146 B (Total open files size: 435679 B) Total dirs: 1211 Total files:...
2020-03-09 06:01:47
759
原创 Java网络编程基于UDP协议
Java网络编程基于UDP协议UDP 为应用程序提供了一种无需建立连接就可以发送封装的 IP 数据报的方法。编写发送端程序步骤为:1.创建
2019-08-07 00:16:25
206
原创 Java基础之常用API汇总
Java基础之常用APIString类:String类代表字符串,字符串本质就是一个字符数组.构造方法:1.String s = new String(String original);//把字符串数据封装成字符串对象2.String s = String(char[] value); //把字符数组的数据封装成字符串对象3.String s = String(char[] value...
2019-08-02 00:37:44
428
原创 Java基础之数据类型
Java数据类型数据类型的概念：Java语言是强类型语言，对于每一个数据都给出了明确的数据类型分类：byte 范围是: -128 到 +127byte类型:1个字节boolean类型:1个字节short类型:2个字节char类型:2个字节int 数据类型:默认4个字节;float类型:4个字节long,double类型:8个字节定义long类型时,需要在后面加L定义fl...
2019-08-01 10:51:44
70
原创 Java基础之Map集合
Java基础之Map集合Map集合是一种双列集合,存储形式为键值对的形式(Map集合中的键是唯一性的)如:以学生的学号为键值,姓名为值.创建对象格式:Map<String ,String> map = new HashMap<>();map.put(“001”,“张三”);map.put(“002”,“李四”);...
2019-08-01 08:56:41
116
原创 Java基础之Collection集合
@TOC@Collection集合欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全...
2019-08-01 08:44:15
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人