- 博客(7)
- 资源 (2)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 总结篇—个人360画像分析分享
Boys，Grils，Friends，我是你的师哥or师弟，不许叫我师姐or师妹，嗯！擅长领域：Java，Python，数据分析，数据可视化，大数据开发…兴趣爱好：阅读，旅游，运动健身，王者农药…每日一荐：今天推荐一本好书《张爱玲传》，了解一个传奇的、天才的女性的一生！【今日重点：个人思维脑图的搭建，底部有个人链接】目录前言1.不多说，先上截图2.从0到1剖析1.知识储备2. 工作经历3. 胜任岗位4. 基本信息5. 兴趣爱好6. 附加技能3. 个人脑图链接前言对于自己不够了解，不..
2021-08-31 13:17:51
756
2
原创 资料篇—个人资料合集分享
Boys，Grils，Friends，我是你的师哥or师弟，也可以是师姐or师妹哟！领域展开：Java，Python，数据分析，数据可视化，大数据开发…兴趣展开：阅读，旅游，运动，王者农药…每日一荐：今日推荐的是一本书《第3选择》,写的非常好，对于工作，生活有很大帮助，看完不值，回来打我！【今日重点：个人的学习或工作中的资料整理，大概花了一天左右时间，各个目录下，有资料+软件，知识分享出来，一变多，Great！,统一度盘提取码：0228，废话不多说，先上图】目录1. 编程语言篇2.数据..
2021-08-29 18:35:19
256
原创 微软云计算平台Azure的学习教程
1. 创建数据工厂 - 使用用户界面（UI） - 使用"复制数据"工具（UI） - 1.新建容器 - 2.创建数据工厂 - 3.启动数据复制工具 - 使用python数据的接入、ETL、Analysis2. 移动/复制数据 - 使用数据复制工具（UI） - 数据库全表复制 - 自定义筛选复制 - 可定时配置复制 - 使用Pyth
2021-08-24 22:18:36
1219
原创 使用篇-使用shell统计文件行数的几种方法和spark读取csv的常用注意点分享
1.shell命令统计文件行数的几种方式wc -l # wc的-l命令 lineawk 'END{print NR}' # awkawk '{print NR}' |tail -n1 #awkgrep -n ""|awk -F: '{print '}|tail -n1 #awksed -n '$=' # sed2.spark读取csv文件时常用的option参数解释optiondescheader默认false 将第一行作为列名sep默认, 指定单个字符
2021-08-21 17:35:16
1125
原创 BUG篇-Hive外部表不能根据路径下的数据变化自动刷新表，1986-05-04 这个时间进行日期时间格式化时会出现多一个小时的情况 的分享
1.Hive外部表不能根据路径下的数据变化自动刷新表1.问题描述覆盖了路径下的数据，但是对应的hive表数据没有进行刷新？2.原因分析个人解读：因为外部表的删除并不能对hdfs上存储的数据造成变化，所以外部表和数据的关联性不是很大，反过来，hdfs上数据变化，也不能造成外部表的数据变化3.解决方案把外部表进行删除，重新建表，然后再load数据注意：不能直接清空表数据后load，会直接报错2.1986-05-04 这个时间进行日期时间格式化时会出现多一个小时的情况1
2021-08-19 23:20:11
545
原创 BUG篇-工作中Hive建表bug分享
1. bug描述Table is marked as a managed table but is not transactional?翻译：表被标记成内部表但不是事务表2. 解决方式关闭建表的严格模式命令行（临时性）：set hive.strict.managed.tables=false配置文件中（永久性）：在hive-site中添加hive.strict.managed.tables=false...
2021-08-18 11:26:09
1512
原创 基础篇—了解一些常用的基础知识
1.shellps -ef |grep查询某一进程，其结果分析：UID ：程序被该 UID 所拥有PID ：就是这个程序的 IDPPID ：则是其上级父程序的IDC ：CPU使用的资源百分比STIME ：系统启动时间TTY ：登入者的终端机位置TIME ：使用掉的CPU时间CMD ：所下达的是什么指令2.nginxnginx的最简单配置文件worker_processes 1;event
2021-08-17 21:17:46
80
阿里云的数据中台dataphtin有airflow那样的复杂的任务调度功能吗？
2021-10-30
CSDN这个技能树能不能搞填空题，选择题，我搁着找不同呢？
2021-10-05
为啥我的python不能用len()函数，我装了个假环境？
2021-10-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人