- 博客(6)
- 收藏
- 关注
RSS订阅原创 linux离线安装pyhive所依赖的包
问题：pycharm远程连接服务器，需要在远程服务器上安装pyhive，但是远程服务器没有联网，所以只能靠离线安装。解决过程（方案）：在pypi上（https://pypi.org/）下载pyhive的包(https://pypi.org/project/PyHive/#files)：2.将离线安装包拖到远程服务器某个文件夹里，到离线安装包所在的路径，运行如下命令：pip的绝对路径（这里加绝对路径是因为远程服务器默认python2，而我需要用到python3）+install +离线安装包3. 报错
2021-06-08 11:23:59
864
原创 hive：日期坑
时间转换的时候hive对日期的大小写是敏感的：年-月-日：yyyy-MM-dd；但是trunc截取的时候，年份，月份都需要大写SELECT current_date() date1 ,trunc(current_date(),'YYYY') date2 ,trunc(current_date(),'yyyy') date3 ,trunc(current_date(),'mm') date3_1 ,trunc(current_date(),'MM'
2021-05-17 14:16:04
331
原创 做需求心得
需求是结果导向，想清楚这个需求想要达到什么效果，受益者是谁尤为重要，这个一偏离，整个都白搞。输出高质量的文档，细节把控，永远不要高估开发的需求理解能力，想当然开发应该懂得，因为信息的不对称，开发人员理解的需求不如需求分析师理解的透彻或者多是肯定的，以及，人性使然，能简化就简化，能偷懒就偷懒。需求分析师对文档偷懒，开发人员当然会对功能效果偷懒，怪谁？文档留痕，口头沟通到后面背锅的肯定是需求分析师，虽然麻烦，学会保护自己。 ——2020.12.04...
2020-12-04 09:39:23
106
原创 python操作Mysql数据库：更新数据
记一次mysql更新数据时踩的坑；批量更新数据时，选择的是insert into on duplicate update…的语句，但是这个表里的主键用很多空数据，没错，mysql的主键允许Null数据存在。。。于是在用insert into on duplicate update语句操作时，对于主键为null的数据，无法更新，直接做了inset操作。悲剧来了…两万多条数据的表短短3天内，涨到了两亿。。。因为每天这张表要更新至少6次。。。谨记：更新批量数据时，如果选择用insert into on
2020-08-06 19:10:23
2232
原创 异步和同步的区别
操作数据库：异步：用户不需要等，做完操作后可以直接关闭页面，比方说提交了一个表单，如果数据复杂，导致写数据库需要较长时间，实施异步处理，在用户看起来，点了提交，页面已经刷新，表单已经提交成功了（实际是“假成功”，数据还未完整写入到数据库中），待用户关闭页面后，程序仍能再慢慢写数据到数据库。同步：用户需要等待，做完操作后必须等数据写完才能关闭页面，还是以刚刚的例子，提交了一个表单，在程序未...
2020-04-05 22:58:02
550
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人