2020年07月_IceelfLuo

原创 Hive：Execution Error, return code 2 和Error while compiling statement: FAILED三个问题

最近在Hive上跑数跑出了三个问题，应该都是hive查询引擎的缺陷，解决问题后照例要记录一下：Execution Error, return code 2Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask这个是因为查询数据量太大，如果建表时存储格式为 Parquet 就会造成内存溢出。建议：建表时使用 TEXTFILE 进行存储(STORED AS TEXTFILE) 。Error whi

2020-07-31 16:25:12 3853

原创 PEP 8简介、错误代码与警告忽略

最近和Pycharm的PEP-8较上劲了，没必要，真没必要。在我看开以后，重新记录一下这个过程中有价值的内容。PEP 8简介PEP-8 是Python代码样式指南，初版的作者是Guido van Rossum，核心旨在提高代码的可读性，并使其在各种Python代码中保持一致。换言之，就算不按照它xjb写，代码也是能Run起来的。官方自己也建议不要为了遵守PEP 8而破坏向后兼容性，通俗的说话就是代码风格要保持一致，一致的PEP 8和一致的shit 8都行。下面举些PEP 8样式的简单例子：缩进pyt

2020-07-30 17:39:06 1899

原创 Sling一个新加坡司令

曾登上至高之天，也曾踏破至深之渊，苍穹为被，大地为家，左手鲁特琴，右手金凤花，大家好，我是好酒的吟游诗人落落。今天要带来的故事是新加坡司令(Singapore Sling)作为吟游诗人，我去过很多很多地方，探访过很多很多小酒吧。我大概是对酒精上瘾的，因此我也和很多小酒吧的老板有一定的交情，这样才能不时用我的歌谣从他们那里换点酒喝。其中有一个老板给我的印象比较深刻，因为他特别喜欢新加坡司令。我第一次带异性旅伴去这家酒吧的时候，他就推荐新人试试新加坡司令。我第一次带同性旅伴去这家酒吧的时候，他也推荐新人试

2020-07-26 23:03:05 774

原创 xls与csv转换：多工作表合并与拆分

今天工作上遇到了xls与csv互转的场景，分别是xls的多工作表批量转csv，和多个csv纵向合并成一个xls，简单记录一下。多工作表批量转csv先用ALT+F11打开VBA编辑窗口,在左边列表框点鼠标右键选插入模块粘贴一个宏：Sub 转换CSV()iPath = ThisWorkbook.PathFor n = 1 To Worksheets.Count Name = "\" & Sheets(n).Name & ".csv" filepath = iPath &

2020-07-21 22:53:21 848

原创 Win10解决Disciples 2圣战群英传2卡顿问题

最近想翻点老游戏出来玩，比如圣战群英传2，但是卡得我mmp，一通搜索和捣鼓之后，终于发现了比较简单的解决问题的方法。1、首先确认电脑中是否有vcredist2010，至少08年以后的VC++库，没有就安。2、检查游戏根目录下有没有d3d9.dll，没有就下方传送门。https://dl.pconline.com.cn/download/91252.html如果还没能解决问题，那么：3、看看根目录有没有Disciple.ini，如果没有：3.1、看看根目录有没有一个骷髅头头像的Importer.e

2020-07-19 16:57:30 6363 2

原创两种方式推导人口平衡方程(PBE)

前言之前玩了玩雷诺运输定理(Reynolds transport theorem)，当时用的是人口平衡方程(Population Balance Equation)，后来一想不对啊，这引入没头没尾的。其实PBE在各个领域上都有运用，最最原始的版本是反映某一时期人口数量及其自然变动，到了后来就运用到物化生各个学科上面，描述的是物质的量能变化情况。现在主要落地的模型是经济学那一块，和机器学习倒是关联不大。不过现在MLDL的黑箱情况那么严重，以后发展方向会不会重新回到模型依靠型也不好说。总之嘛，PBE也算是常

2020-07-15 20:14:45 2253

原创雷诺运输定理笔记

今天看到了雷诺运输定理，想了想好像和带参变量的求导公式很像。于是自己推了推，并拿人口平衡方程population balance equation试了试手，记个笔记。雷诺运输定理记????(????,????)为物质的量函数，????(????)为物质所在的空间，它会随时间变化，且拥有光滑的边界????????(????)。则关于f的微分如同上式，这个就是雷诺运输定理。????????,????????为x的体积元和表面积元，v为速度场函数（不是单纯的流速），当????(????,????)为向量的

2020-07-14 22:01:46 2068

原创 pyautogui安装问题

公司最近在研究RPA，于是我想整一个pyautogui试试。结果我怀疑我是全网遇到最多坑的人，先记一下这些坑的处理方法。我的环境是win10+py3.7+anaconda解释器下载安装pyautogui直接下载地址最近pip问题很多，先考虑的是直接下载。点Download files，下载右侧的PyAutoGUI-0.9.50.tar.gz，解压后，进入解压目录执行python setup.py install，再用import pyautogui检查是否安装成功就行了。正常情况下这是最稳健

2020-07-10 10:32:31 3841 3

原创 pip对应的轮子版本格式查询

最近直接pip总是出奇奇怪怪的错误，所以经常直接下载轮子来进行安装，这时候需要找到pip对应的轮子的版本（或强行把名字改成合适的版本）：以前的方法：import pipprint(pip.pep425tags.get_supported())如果是AMD64，则使用import pip._internalprint(pip._internal.pep425tags.get_supported())如果问题解决就可以不用往下看了。最近我自己发现不太好使，会显示：module ‘pip’ ha

2020-07-08 17:15:51 518

IceelfLuo的博客