Allen-1
码龄6年
关注
提问 私信
  • 博客:100,484
    问答:26
    100,510
    总访问量
  • 59
    原创
  • 1,927,037
    排名
  • 11
    粉丝
  • 0
    铁粉

个人简介:相信爱与坚持,玩转生命乐趣

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
  • 加入CSDN时间: 2019-01-16
博客简介:

weixin_44548432的博客

查看详细资料
个人成就
  • 获得18次点赞
  • 内容获得30次评论
  • 获得74次收藏
创作历程
  • 20篇
    2022年
  • 34篇
    2021年
  • 5篇
    2020年
成就勋章
TA的专栏
  • Flink
    1篇
  • 数仓搭建
    3篇
  • Mysql  数据库
    7篇
  • 财富自由之路
    4篇
  • 排序经典算法学习笔记  sort algorithms
    7篇
  • Leetcode高频算法专题
    2篇
  • Python编程:从入门到实践
    5篇
  • 程序员思维
    1篇
  • 计算机基础知识
    3篇
  • Git
  • Linux 虚拟机
    1篇
  • 大数据  Hadoop生态圈
    2篇
  • Oracle sql  数据库
    2篇
  • Web前端
    2篇
  • program language
    9篇
  • Python 爬虫系列
    4篇
  • spark   电影推荐系统系列
    4篇
  • bigdata framework
    1篇
兴趣领域 设置
  • 大数据
    hadoopsparketl
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Flink Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic

Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime' 解决方案:设置滑动处理时间
原创
发布博客 2022.07.26 ·
759 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

1.FAILED: ParseException line 1:0 character ‘​‘ not supported herehive 原因:文件格式编码 2.时间相差小时数的计算

1.FAILED: ParseException line 1:0 character '​' not supported herehive 原因:文件格式编码 2.时间相差小时数的计算
原创
发布博客 2022.06.15 ·
492 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SQL之开窗函数

SQL之开窗函数ROW_NUMBER()
原创
发布博客 2022.05.05 ·
799 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

什么是反渣体质?

每日一词: 二分算法 2022.4.16猜生日哈双鱼座? 嗯3.6前? 不是3.13后? Not right~3.10前? Close···3.8 ? Ummm,aha什么是反渣体质?先说怎么识别渣?来个公式:机会成本 < 沉没成本具体讲解下机会成本,之前说过,机会成本是我们愿意付出的代价小鹏最近刷到一视频,某度优化员工,员工在公司前情绪崩溃,公司说要给的补贴缩水了这样公司看似省了钱,但其实支付了更加昂贵的品牌受损费。短视频的传播范围广,优秀的人去应聘
原创
发布博客 2022.04.16 ·
3017 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

数据结构:数组(一)contains_duplicate

217.contains_duplicateExample1:Input: nums = [1, 2, 3, 1]Output: trueExample2:Input: nums = [1, 2, 3, 4]Output: falseExample3:Input: nums = [1, 1, 1, 3, 3, 4, 3, 2, 4, 2]Output: true方式一: 采取双循环遍历的方式,进行判断是否重复nums = [1, 2, 3, 4, 1]len = len(nums)
原创
发布博客 2022.03.30 ·
594 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

每日一词: 战略 2022.3.30

战略四问:我现在在哪?我要去哪?怎么去?到了之后怎么办?邓巴数理论,最佳社交人数为150人。下午自个用电脑批量删除了一波互动频率比较低的宣传号和旁友(360人左右)。我们从心出发,奔赴山海。如果你觉得和本人的三观不合,也建议删除,hhh,我们都值得拥有更好的生活。不以战术勤奋掩盖战略懒惰考研失利后,我选择的是来到上海,选择一份还在上升期的职业。为什么没继续考研,有人说你放弃了。但我不在乎,我需要放弃被标准化考试定义的生活。没有人能在当下环境,给出标准化的答案。因为我们当下生活的环
原创
发布博客 2022.03.30 ·
2245 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

每日一词: 初心 2022.3.29

发掘内心渴望,找到挑战成功的节奏
原创
发布博客 2022.03.30 ·
127 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

如何用shell脚本判断hive数据库是否导入dt分区的数据?

如何用shell脚本判断hive数据库是否导入dt分区的数据?如何用python去除文件目录下所有文件的首行?
原创
发布博客 2022.03.29 ·
2619 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

每一位程序员伙伴都值得走一遍业务流程

每日一词: 用户 2022.3.26上海疫情,部分小区配货不及时,俺昨个了解客户的需求,进行最小MVP测试,吃了没调查问卷统计有两人有需求,今个就整菜卖,25箱卖23箱半,剩下自己吃。以下正文。如果我长得比李家琪帅,摆地摊赢面多大这道题的赢面,应该不是在于凭颜值,而是在于我整合资源的能力,以及服务好特定的消费群。直播带货不太懂,摆地摊有一天经验的,人,货,地摊,action。Money big mother(简称选手M)在2+12通知消息当天入局,贴出告示,坐拥各大...
原创
发布博客 2022.03.26 ·
456 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

采取递归算法的方式升级打怪

1. 什么是递归?从前有个山,山里有个庙,庙里有个老和尚对小和尚说,从前有个山,山里有个庙,庙里有个老和尚对小和尚说……小时候,听这段对话就想,师傅别念了。因为这不符合递归的三大特性之一,有边界。什么符合递归呢?比如小A立三年实现年薪百万的flag,那这就需要三年的成长达到技术总监的要求,那么接下来22年从小白到高级工程师的修炼,需要体现到接下来的每一天的技术博客中。(设定的目标,需接受市场的毒打~)再比如我写这篇博客就是用的递归,将介绍递归的文章分为三段,每一段都有自己的功
原创
发布博客 2022.03.26 ·
494 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

java中的==和equals之间的区别(一个知识点,调试我2小时)

首先请看大屏幕:== equals 之间的区别?获取字符串NA的时候,==比较的是内存中的存放地址,equals比较的是值为什么我们需要去理解底层的知识?如何在实际的工作中落地技术细节?String s = list.get(i).get(j);此处我们采用哨兵的方式,将变量寄存取到的值,避免我们重复调用变量,增大时间开销。 for(int j=0; j<list.get(i).size(); j++){ //判断元素是否为
原创
发布博客 2022.03.24 ·
939 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

大数据中的底层算法:归并排序

1.什么是归并排序? 1. 使用先分后治思想排序,类比上海市做核酸检测,不是集中到某个医院(感染风险大)而是直接在中高风险小区内就地安排检测,采样集中在医院做成分分析。2.为什么要用归并排序? 1. 时间复杂度为O(n*logn) 时间就是金钱3.如何使用归并排序? 技术再变,底层思想融会贯通。Google在2004年发表的论文中介绍了MapReduce编程模型,我们通过将大规模的任务变成小批量的任务,分散到各个机器上运行。(类比下疫情期间,平台的服务暂时无法提供...
原创
发布博客 2022.03.24 ·
2352 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Permission denied: user[admin] does not have [TEMPUDFADMIN] privilege on [global]以及 数仓的ods建设几点tips分享

Ranger的使用1.问题:Hive无法添加UDF函数2.解决办法:开通Ranger的权限3. add jar hdfs://10.63.2.16:50070/user/udf/hive-udf-1.0.jar;(hdfs://10.63.2.16:50070 这部分前缀也可不要,主要看哪种方式能找到本地文件)总结:没有权限的时候,找到权限不足的用户,赋予权限数仓的ods建设统一文件的输出的日期标准:YYYYmmdd或者YYYY-mm-dd,不要夹杂,后期改动耗时间。编码格式,UTF
原创
发布博客 2022.03.23 ·
3428 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

如何使用idea以及notepad++批量去除空格,替换制表符,添加引号?

目标状态:s1 = { 'id':'编号', 'order_status':'订单状态', 'sales_channels':'销售渠道', 'ep_order_id':'网店订单号' }逐步达成:举个例子:消除空格,改换制表符为’:’1.Ctrl F 查找空格替换为啥都不选2.粘贴制表符替换为’:’3.idea中编辑:要点一:注释中操作,以免数据错位要点二:列式编辑模式,按住ALT要点三:选最右端,直接拉到最左侧Ctrl X,批量输入’’,再向中间粘贴。总结:
原创
发布博客 2022.03.22 ·
4460 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

如何用python去除文件目录下所有文件的首行?

1.为何使用python去除?shell脚本同样能实现,看具体的需求,shell适合单个文件,python便于遍历整个文件夹。2.如何使用删除首行功能?搭积木式,将搜索到的遍历功能和删除首行功能放在一起。#conding=utf8import fileinputimport os# 获取目录下的全部文件g = os.walk(r"/test")for path,dir_list,file_list in g: for file_name in file_list: j
原创
发布博客 2022.03.21 ·
951 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

如何用Python解析一道reorder list 链表重新排序?

Leetcode原题:reorder list 链表重新排序L0 → L1 → … → Ln - 1 → LnReorder the list to be on the following form:L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → …You may not modify the values in the list’s nodes. Only nodes themselves may be changed.head = [1,2,3,4]Output:
原创
发布博客 2022.03.20 ·
1007 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

如何用python修改json中的数组元素的值?

json文件{"tasks": [{"name": "allen", "params": {"ftpDatasourceId": 2,"targetConfig": {"database": "ods", "description": "", "table": "allen_keep_moving"}, "basePath": "/allen_keep_moving/$[yyyyMMdd-1]" }}]}import json"""python中读取文件中的内容,并更修改"""with open
原创
发布博客 2022.03.19 ·
2366 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

Office的Ctrl C,Ctrl V使用过多?一起看看python如何处理

如何将pdf文件转换为word文件?from pdf2docx import Converterc = Converter(r'MillionaireMindDeclarations.pdf')c.convert(r'1.docx')c.close()中文版《有钱人和你想的不一样》挺不错的,推荐大家阅读,我自己是读完了的。如何将word文件转换为pdf文件?from docx2pdf import convertimport osfrom docx2pdf import conver
原创
发布博客 2022.03.19 ·
833 阅读 ·
1 点赞 ·
1 评论 ·
0 收藏

如何读取Excel特定字段,并写入到文件?如何添加属性值到Excel文件中?

如何读取Excel特定字段,并写入到文件?如何添加属性值到Excel文件中?功能: 1.读取Excel文件的特定字段,并写入到新的Excel文件中。 2.在特定位置设置字段名称,写入到Excel文件中。
原创
发布博客 2022.03.10 ·
1501 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python的excel文档

发布资源 2022.03.10 ·
xlsx
加载更多