- 博客(59)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Flink Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic
Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime' 解决方案：设置滑动处理时间
2022-07-26 22:21:13
746
1
原创 1.FAILED: ParseException line 1:0 character ‘‘ not supported herehive 原因：文件格式编码 2.时间相差小时数的计算
1.FAILED: ParseException line 1:0 character '' not supported herehive 原因：文件格式编码 2.时间相差小时数的计算
2022-06-15 11:53:31
473
原创 什么是反渣体质？
每日一词: 二分算法 2022.4.16猜生日哈双鱼座？ 嗯3.6前？ 不是3.13后？ Not right~3.10前？ Close···3.8 ? Ummm，aha什么是反渣体质？先说怎么识别渣？来个公式：机会成本 < 沉没成本具体讲解下机会成本，之前说过，机会成本是我们愿意付出的代价小鹏最近刷到一视频，某度优化员工，员工在公司前情绪崩溃，公司说要给的补贴缩水了这样公司看似省了钱，但其实支付了更加昂贵的品牌受损费。短视频的传播范围广，优秀的人去应聘
2022-04-16 22:57:26
2999
原创 数据结构：数组（一）contains_duplicate
217.contains_duplicateExample1:Input: nums = [1, 2, 3, 1]Output: trueExample2:Input: nums = [1, 2, 3, 4]Output: falseExample3:Input: nums = [1, 1, 1, 3, 3, 4, 3, 2, 4, 2]Output: true方式一： 采取双循环遍历的方式，进行判断是否重复nums = [1, 2, 3, 4, 1]len = len(nums)
2022-03-30 22:13:35
593
原创 每日一词: 战略 2022.3.30
战略四问：我现在在哪？我要去哪？怎么去？到了之后怎么办？邓巴数理论，最佳社交人数为150人。下午自个用电脑批量删除了一波互动频率比较低的宣传号和旁友（360人左右)。我们从心出发，奔赴山海。如果你觉得和本人的三观不合，也建议删除，hhh,我们都值得拥有更好的生活。不以战术勤奋掩盖战略懒惰考研失利后，我选择的是来到上海，选择一份还在上升期的职业。为什么没继续考研，有人说你放弃了。但我不在乎，我需要放弃被标准化考试定义的生活。没有人能在当下环境，给出标准化的答案。因为我们当下生活的环
2022-03-30 21:24:33
2244
原创 如何用shell脚本判断hive数据库是否导入dt分区的数据？
如何用shell脚本判断hive数据库是否导入dt分区的数据？如何用python去除文件目录下所有文件的首行?
2022-03-29 00:55:59
2616
原创 每一位程序员伙伴都值得走一遍业务流程
每日一词: 用户 2022.3.26上海疫情，部分小区配货不及时，俺昨个了解客户的需求，进行最小MVP测试，吃了没调查问卷统计有两人有需求，今个就整菜卖，25箱卖23箱半，剩下自己吃。以下正文。如果我长得比李家琪帅，摆地摊赢面多大这道题的赢面，应该不是在于凭颜值，而是在于我整合资源的能力，以及服务好特定的消费群。直播带货不太懂，摆地摊有一天经验的，人，货，地摊，action。Money big mother（简称选手M）在2+12通知消息当天入局，贴出告示，坐拥各大...
2022-03-26 20:59:15
453
原创 采取递归算法的方式升级打怪
1. 什么是递归？从前有个山，山里有个庙，庙里有个老和尚对小和尚说，从前有个山，山里有个庙，庙里有个老和尚对小和尚说……小时候，听这段对话就想，师傅别念了。因为这不符合递归的三大特性之一，有边界。什么符合递归呢？比如小A立三年实现年薪百万的flag，那这就需要三年的成长达到技术总监的要求，那么接下来22年从小白到高级工程师的修炼，需要体现到接下来的每一天的技术博客中。（设定的目标，需接受市场的毒打~）再比如我写这篇博客就是用的递归，将介绍递归的文章分为三段，每一段都有自己的功
2022-03-26 00:02:12
477
原创 java中的==和equals之间的区别（一个知识点，调试我2小时）
首先请看大屏幕：== equals 之间的区别?获取字符串NA的时候，==比较的是内存中的存放地址，equals比较的是值为什么我们需要去理解底层的知识？如何在实际的工作中落地技术细节？String s = list.get(i).get(j);此处我们采用哨兵的方式，将变量寄存取到的值，避免我们重复调用变量，增大时间开销。 for(int j=0; j<list.get(i).size(); j++){ //判断元素是否为
2022-03-24 21:38:31
937
原创 大数据中的底层算法：归并排序
1.什么是归并排序？ 1. 使用先分后治思想排序，类比上海市做核酸检测，不是集中到某个医院（感染风险大）而是直接在中高风险小区内就地安排检测，采样集中在医院做成分分析。2.为什么要用归并排序？ 1. 时间复杂度为O(n*logn) 时间就是金钱3.如何使用归并排序？ 技术再变，底层思想融会贯通。Google在2004年发表的论文中介绍了MapReduce编程模型，我们通过将大规模的任务变成小批量的任务，分散到各个机器上运行。（类比下疫情期间，平台的服务暂时无法提供...
2022-03-24 01:14:29
2342
原创 Permission denied: user[admin] does not have [TEMPUDFADMIN] privilege on [global]以及 数仓的ods建设几点tips分享
Ranger的使用1.问题：Hive无法添加UDF函数2.解决办法：开通Ranger的权限3. add jar hdfs://10.63.2.16:50070/user/udf/hive-udf-1.0.jar;（hdfs://10.63.2.16:50070 这部分前缀也可不要，主要看哪种方式能找到本地文件）总结:没有权限的时候，找到权限不足的用户，赋予权限数仓的ods建设统一文件的输出的日期标准：YYYYmmdd或者YYYY-mm-dd，不要夹杂，后期改动耗时间。编码格式，UTF
2022-03-23 00:29:26
3267
原创 如何使用idea以及notepad++批量去除空格，替换制表符，添加引号？
目标状态：s1 = { 'id':'编号', 'order_status':'订单状态', 'sales_channels':'销售渠道', 'ep_order_id':'网店订单号' }逐步达成：举个例子：消除空格，改换制表符为’:’1.Ctrl F 查找空格替换为啥都不选2.粘贴制表符替换为’:’3.idea中编辑：要点一：注释中操作，以免数据错位要点二：列式编辑模式，按住ALT要点三：选最右端，直接拉到最左侧Ctrl X,批量输入’’,再向中间粘贴。总结：
2022-03-22 00:50:47
4384
原创 如何用python去除文件目录下所有文件的首行?
1.为何使用python去除？shell脚本同样能实现，看具体的需求，shell适合单个文件，python便于遍历整个文件夹。2.如何使用删除首行功能？搭积木式，将搜索到的遍历功能和删除首行功能放在一起。#conding=utf8import fileinputimport os# 获取目录下的全部文件g = os.walk(r"/test")for path,dir_list,file_list in g: for file_name in file_list: j
2022-03-21 10:00:00
938
原创 如何用Python解析一道reorder list 链表重新排序？
Leetcode原题：reorder list 链表重新排序L0 → L1 → … → Ln - 1 → LnReorder the list to be on the following form:L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → …You may not modify the values in the list’s nodes. Only nodes themselves may be changed.head = [1,2,3,4]Output:
2022-03-20 22:17:56
1002
原创 如何用python修改json中的数组元素的值？
json文件{"tasks": [{"name": "allen", "params": {"ftpDatasourceId": 2,"targetConfig": {"database": "ods", "description": "", "table": "allen_keep_moving"}, "basePath": "/allen_keep_moving/$[yyyyMMdd-1]" }}]}import json"""python中读取文件中的内容，并更修改"""with open
2022-03-19 13:27:01
2328
原创 Office的Ctrl C,Ctrl V使用过多？一起看看python如何处理
如何将pdf文件转换为word文件?from pdf2docx import Converterc = Converter(r'MillionaireMindDeclarations.pdf')c.convert(r'1.docx')c.close()中文版《有钱人和你想的不一样》挺不错的，推荐大家阅读，我自己是读完了的。如何将word文件转换为pdf文件?from docx2pdf import convertimport osfrom docx2pdf import conver
2022-03-19 12:20:12
823
1
原创 如何读取Excel特定字段，并写入到文件？如何添加属性值到Excel文件中？
如何读取Excel特定字段，并写入到文件？如何添加属性值到Excel文件中？功能： 1.读取Excel文件的特定字段，并写入到新的Excel文件中。 2.在特定位置设置字段名称，写入到Excel文件中。
2022-03-10 20:32:41
1491
原创 pygame.error: video system not initialized
排错技巧：1、控制变量 2、学会使用大脑，有氧，有水分，有能量的环境方案一：检查是否对齐方案二：是否初始化方案三：是否写错事件的退出条件解决：我的是问题三总结：每30min休息，给大脑氧气和补充水分，需要给子弹飞一会的时间。...
2022-01-24 10:00:00
2365
原创 SparkSQL的JDBC连接操作常见问题集锦
1.sql empty or null原因：表名没大写或者表名字段书写有误解决方案：Oracle中1为样例写入测试2.Missing In or Out Parameter Index 3原因：SparkSQL里有多少 ？（需要相应入参值）解决方案：入参对应好写入3.Invalid batch command原因：参数值前后并不对应（比如 ID对应Date,或者 Date对应的是String）解决方案：掌握基本格式转换 to_date(a.date,‘yyyyMMdd’)4.not
2021-12-14 15:29:46
654
原创 01654报错： 索引无法通过8扩展
现有解决方案尝试无果： 1.表空间不足 2. 重建索引或者合并索引解决方案3：非大量数据，直接删除索引drop index index-name;可能会有锁表问题：Step one: select session_id from v$locked_object;Step two: select sid，serial#,username,osuser from v$session where sid = 545;Step three:alter system kill sess
2021-11-23 14:33:45
878
原创 DOM的增添节点前置和后置
学习目标1：使用增添文本节点<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></title> <script> //第一个函数实现的是，增添的文本节点后置；后者文本节点前置 function fight(){ var textitle = document.createElement("p"); var conten
2021-08-17 11:17:30
136
原创 Java Script开发笔记（一）
学习目标1：自定义对象设置，window定时器设置，window的history和location对象的运用<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></title> <script> /**1.自定义对象，此处笔者可以自由编辑弹出的对话框,prompt输入文本框，我们可以输入需要的内容*/ aler
2021-08-16 23:17:58
163
原创 CSDN见习工程师任务一
**1.16进制更改后的数字**对应的是不同的数值Ctrl+p转换成16进制2.进入网站，去完成基本任务 https://studio.code.org/courses调整到合适的尺寸，打印出chan，开头的16位数字是确定表格的大小之后的01代表黑白格子。0001 00000001 000000000011 0100001000001100 0100001000110000 0100001011000000 0111111011000000 0111111000110000
2021-06-22 14:08:17
365
原创 快速排序：java和python
快速排序原理：墙裂推荐这篇文章，分析翔实http://data.biancheng.net/view/117.html#:~:text=%E5%BF%AB%E9%80%9F%E6%8E%92%E5%BA%8F%E7%9A%84%E6%93%8D%E4%BD%9C%E6%98%AF,%E6%9C%80%E5%90%8E%E5%9F%BA%E5%87%86%E5%80%BC%E6%89%80%E5%9C%A8%E7%9A%84想象相亲市场大爷大妈怎么找到满意的姑爷/儿媳呢？大爷大妈两一个在公园头，
2021-05-31 17:13:44
144
原创 插入排序 vs 希尔排序
插入排序package Insert_Sort_Demo;import java.util.Random;/** * @Author:Allen * @Date:5/8/2021 1:49 PM *//*插入排序：我们都排过队，一个一个按照身高得高矮去进行队伍的排列* 每一个新插入的数字要进行比较，和之前的比较或者和之后的比较， 正好比前面的大，比后面的小** */public class Insert_Demo1 { public static void sor
2021-05-25 20:24:32
98
原创 插入排序&选择排序
目录插入排序原理: 排队，你从最后队尾走来，看到比你高的走过去，一直到看见第一个比你矮的，排在他后边。选择排序原理：每次在尚未排好队的队伍中，把个子最矮的摘到前面去。插入排序原理: 排队，你从最后队尾走来，看到比你高的走过去，一直到看见第一个比你矮的，排在他后边。package Insert_Sort_Demo;/*** @Author:Allen* @Date:5/8/2021 4:31 PM*/public class Inser...
2021-05-25 19:57:13
152
原创 JDBC连接问题集锦
The server time zone value '�й���ʱ��' is unrecognized or represents more than one time zone.解决方案：注意格式 是Timezone ，而不是TimeZoneFailed to parse the host:port pair 'localhost:root'.解决方案：端口号不是root ，是3306Data truncation: Incorrect dat...
2021-05-24 21:38:54
1969
原创 计数排序&基数排序
计数排序原理： 排队一样，个子一样高的在一队里，从小到大需要一字队形的时候，依次从每个队里出列。package Counting_Sort_Demo;import edu.princeton.cs.algs4.In;/*** @Author:Allen* @Date:5/19/2021 4:25 PM*/public class Counting_Sort_Demo3 {public static void main(Strin...
2021-05-23 19:22:32
114
原创 桶排序 Bucket_Sort
本次我以桶排序为例子，什么桶排序？我们可以设想有10个水桶，每个水桶的可以装一部分水。 水量不能大，因为超出的装不了。同理，水桶也不能少，少了水没桶可以装。package Bucket_Sort_Demo;import java.util.ArrayList;import java.util.List;/** 桶排序的过程注意，桶的整体大小设置和数量限制* @Author:Allen* @Date:5/20/2021 3:46 PM*/publ...
2021-05-22 23:36:08
604
原创 Mysql的课后习题 40T
-- 数据库的优化1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库.备注、描述、评论之类的可以设置为 NULL，其他的，最好不要使用NULL。3.应尽量避免在 where 子句中使用 != .
2021-05-08 21:42:25
182
3
原创 Basic 1： Bubble_sort 冒泡排序
Basic 1： Bubble_sort冒泡排序1.for (int i:arr)使用方法，实现数组的逐个遍历注释：for (int i:arr){ //变量i就是对后面的数组逐一遍历的意思。System.out.println(i+" ");}2.数组中断越界问题总结：小细节处很容易出现纰漏，在0下标处要思考是否越界的问题。3.倒序排列4.Bubble_Sort优化版本为什么需要对我们的冒泡排序做出一些改进呢...
2021-05-05 11:24:48
146
2
原创 1.Column ‘SNO‘ in field list is ambiguous2.the right syntax to use near ‘rank char)‘ at line 1
1.Column 'SNO' in field list is ambiguous解决方案：指定数据库，避免指代不清问题2.SQL Error [1064] [42000]: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'rank char)' at line..
2021-05-04 22:06:48
3246
原创 数据库基础 MYSQL实现
DDL：使用数据库use allen;查看数据库的表show tables;select * from users;创建表user1create table user1(id int primary key,name varchar(12) not null,age int ,sex varchar(5),birthday date,password varchar(12));select * from user1 ;DDL：更改表的字段名alter tabl
2021-04-28 21:59:48
283
原创 mysql 报错the MySQL service on local computer started and then stopped
逐步排查错误源1.查看Event Viewer日志 很有可能是mysqld.exe的问题，准备用之前的mysqld.exe替换试试,替换无果，还是之前的错误。2.是否是data的错误？ 卸载mysql，将老版本的的data文件放在里面启动服务出错，没有报错信息。 删除原data文件夹，新建空的文件夹。 重新启动服务成功总结：可能在关机的时候，直接关机未退出mysql服务。个人一些猜测，欢迎评论区的高见...
2021-04-27 21:40:22
1817
原创 ‘java‘ is not recognized as an internal or external command, operable program or batch file.
环境变量配置的时候，不要画蛇添足 方框处 不需要添加;原因：原教程添加分号的原因是因为在一行中，方便区分
2021-04-25 21:23:41
5826
原创 解决mysql 报错：ERROR 1410 (42000): You are not allowed to create a user with GRANT
实验步骤：分成两步骤创建create user allen77@localhost identified by ‘123456’;grant select,insert,update,delete,create on allen.* to ‘allen77’@‘127.0.0.1’;解决方案： 更改ip 127.0.0.1如图为localhost，成功。原因分析：前后的ip可能需要保持一致...
2021-04-24 20:50:21
1028
原创 Mysql 报错显示ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)
自己以为是之前安装下载的Mysql有残留结果看了这篇文章，才知道是Mysql的服务没启动https://blog.csdn.net/BigData_Mining/article/details/88344513进入Service,可以很清晰看见两个mysql，一个服务已经启动了，另外一个没有启动。自己右键选择启动，输入临时密码后更改原始密码的命令是： alter user 'root'@'localhost' identified w...
2021-04-21 21:04:49
203
原创 Python的集中报错情况
目录1.参数名写错2.python出错的几种情况：· Requests抛出一个ConnectionError异常，原因为网络问题（如DNS查询失败、拒绝连接等）。· Response.raise_for_status（）抛出一个HTTPError异常，原因为HTTP请求返回了不成功的状态码（如网页不存在，返回404错误）。· Requests抛出一个Timeout异常，原因为请求超时。· Requests抛出一个TooManyRedirects异常，原因为请求超过了设定的最大重定向次
2021-04-12 16:56:01
572
Hadoop启动时datanode没启动？没有startingdatanode的提示
2021-04-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人