weixin_42613703的博客

原创 概率和似然的区别

概率和似然

转载 RNN中梯度消失/爆炸问题

https://kexue.fm/archives/7888

转载 pytorch中view和reshape的区别

http://www.360doc.com/content/21/0317/09/7669533_967384667.shtml

原创 在python中逐行读取大文件

方式一：with open('file_name', 'r') as file: for line in file: print line优点:with语句，文件对象在执行完代码块退出后自动关闭文件流,文件读取数据发生异常，进行异常捕获处理对文件对象进行迭代时，在内部，它会缓冲IO(针对昂贵的IO操作进行优化)和内存管理，所以不必担心大文件。这才是 Pythonci 最完美的方式，既高效又快速缺点：每一行的数据内容不能大于内存大小，否则就会造成MemoryError方

转载 hive取数组前n个作为新数组的语法和坑

错误写法：if(size(ip)>10, (ip[0],ip[1],ip[2],ip[3],ip[4],ip[5],ip[6],ip[7],ip[8],ip[9]), ip) as ip,报错显示：Cannot convert column from string to array.解决办法正确语法：if(size(ip)>10, array(ip[0],ip[1],ip[2],ip[3],ip[4],ip[5],ip[6],ip[7],ip[8],ip[9]), ip) as ip,

原创 hive中获取两个事件的月份差

select (year(date1)-year(date2))*12+(month(date1)-month(date2)) as month_num from table_name需要注意的是date1和date2都必须是时间格式，如果不是，需要使用from_unixtime(unix_timestamp(date_string, “格式1”)， “格式2”) 进行转换。格式1 必须跟date_string的格式一致，比如，date_string为“20210521”，则"格式1"就是"yyyyM

转载 nltk的安装及使用

https://www.cnblogs.com/zrmw/p/10869325.html

转载 transformers 安装

http://pytorchchina.com/2020/02/29/transformers-%e5%ae%89%e8%a3%85/

原创 VMware启动虚拟机一直处于黑屏

问题：在VMware中装了虚拟机，但是在启动后一直处于黑屏而无法进入系统，也没有报错提示，出现这种问题的主要原因是VMware软件跟本地网路规范有所冲突，解决办法也简单，重置一下网络规范就好了，具体的操作方法如下：方法1：以管理员身份运行命令行窗口---->输入 netsh winsock reset，然后重启计算机。方法2：VM->Settings->Hardware->Display在右面的内容栏中将Accelerate 3D graphics 取消打勾，然后重启即可方法3

原创 ubuntu下安装rasa的问题

ubuntu18.04跟在win10下安装差不多pip install rasa-x --extra-index-url https://pypi.rasa.com/simple遇到的错误是gcc没有安装，于是安装gcc安装gcc：① sudo apt-get update② sudo apt-get install build-essential安装完成后可以查看gcc是否安装成功：gcc --version重新安装rasa x，成功...

原创 安装rasa遇到的坑

环境是win10、anaconda3、python3.61.新建一个虚拟环境(看到有的博客里写python版本不能高，所以就装了个3.6，但是我觉得跟这个应该没关系，但是实在不想试了)2.激活虚拟环境,pip3 install rasa-x --extra-index-url https://pypi.rasa.com/simple，会自动安装rasa及rasa x以及所依赖的包3.如果顺利的话就会完成安装。4.遇到的坑：①提示ujson在编译时出错，原因是没有安装microsoft vc++编译

原创 powershell无法激活conda虚拟环境

选择管理员方式进入powershell执行conda init powershell重新打开powershell若显示base则成功了，可输入conda activate env_name(conda 不能省)。若不显示，转入第4步。

转载 VScode离线安装python和cpp插件

https://www.cnblogs.com/azureology/p/13744502.html

转载 对分类型变量，进行编码处理——pd.get_dummies()、LabelEncoder()、oneHotEncoder()

https://www.cnblogs.com/wyy1480/p/10295084.html

原创 sparksql把两个timestamp字段进行拼接

有个需求是从“开始时间到结束时间”当做一个字符串，一开始想了很多from_unixtime和unix_timestamp的方法，发现都不合适，最后发现substr(时间字段，1，n)即可切出要的时间字符串，然后再用concat_ws(’~’, s1, s2)拼接即可...

转载 神经网络与深度学习 相关

http://neuralnetworksanddeeplearning.com/关于作者http://michaelnielsen.org/Referencehttp://en.wikipedia.org/wiki/Frank_Rosenblatt感知器在 20 世 纪五、六⼗年代由科学家 Frank Rosenblatt 发明，其受到 Warren McCulloch 和 Walter Pitts 早 期的⼯作的影响。http://en.wikipedia.org/wiki/Recurren

原创 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xa4 in position 4: illegal multibyte sequence

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa4 in position 4: illegal multibyte sequencepython读取文件时提示UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa4 in position 4: illegal multibyte sequence解决办法：FILE_OBJECT= open('order.log','r', encoding

原创 在终端和jupyter中查看当前运行的是哪个kernel

在终端和jupyter中import syssys.executable查看当前运行的是哪个kernel

原创 将ip转换为整数

将ip转换为整数import socket, structdef ip2long(ip): """ Convert an IP string to long """ packedIP = socket.inet_aton(ip) return struct.unpack("!L", packedIP)[0]

原创 pandas时间序列中的时间差转换为总秒数

pd.to_datetime可以把时间字符串转换为时间格式pd.to_timedelta 可以把时间差转换为timedelta格式.dt.total_seconds()可以计算时间差的总秒数

原创 timedelta转为总秒数

timedelta.total_seconds()

原创 split()和split(‘ ‘)的区别

split()分割的时候会把多个空格当做一个空格，split(’ ')分割的时候，多个空格会分割成多个空格。split():s1 = "we are family"#中间一个空格s2 = "we are family"#中间两个空格s3 = "we are family"#中间三个空格s4 = "we are family"#中间四个空格s1 = s1.split(" ")s2 = s2.split(" ")s3 = s3.split(" ")s4 = s4.sp

原创 gitlab初次使用 报错：“permission delay”

1、打开git bush，创建.ssh目录：$ mkdir ~/.ssh2、进入.ssh目录，生成公钥和私钥$ cd ~/.sshssh-keygen -t rsa -C “你的邮箱”3、添加ssh key在gitlab远程仓库中添加ssh key。点击settings，找到左侧的ssh key， 把公钥内容复制到“key”的方框中，点击“Add key”即可。4、测试是否可以连接gitlab：$ ssh -T git@你的git主页地址即可成功。（注意上面的“你的git主页

转载 DGA域名检测

https://www.cnblogs.com/shwang/p/12085281.html

转载 annaconda 换国内源

https://www.mobibrw.com/2019/21787换清华源和中科大源，换源后记得重新启动一个新的Shell, 否则设置不生效。

转载 机器学习中核函数的简单理解

原创 python利用hash值判断文件是否被修改

如果只看修改时间，可以判断mtime（modify time），如果看内容是否被修改，则可以使用hash值。示例：In [1]: import hashlibIn [2]: md5_before = hashlib.md5(open('aaa.txt').read()).hexdigest()In [3]: import osIn [4]: mtime_before = os.st...

转载 windows10安装tensorflow和keras

参考https://www.cnblogs.com/zeroingToOne/p/8407059.html需要注意的是：用pip安装tensorflow和keras，其他软件包可以用conda装装完keras后，还要装mingw和libpython（conda install即可）...

转载 时间序列-预测航空公司乘客数量

https://www.cnblogs.com/foley/p/5582358.html

转载 k-d树

https://www.cnblogs.com/earendil/p/8135074.html

原创 Word2016文档的页眉横线怎么去掉

ctrl+shift+N

原创 Fatal error: Unable to create process using '"D:\python37\python.exe D:python37\tensorboard.exe

今天进行tensorboard可视化时出现的问题，由于本机同时安装了python2.7和python3.6，在安装的时候为了区分，分别把 python2.7和 python3.6里面的python.exe和pythonw.exe修改为相应的python2.exe，pythonw.2exe和python3.exe,pythonw3.exe。今天遇到的问题是：Fatal error in laun...

转载 Python 利用pexpect和paramiko模块进行远程服务器的监控

一 模块的安装安装pexpect模块 pip install pexpect安装paramiko模块 yum install python-devel pip install paramiko 注意:如果不安装python-devel,则会报 error: command ‘gcc’ failed with exit status 1；这是因为...

转载 Linux下如何查看版本信息

Linux下如何查看版本信息， 包括位数、版本信息以及CPU内核信息、CPU具体型号等等，整个CPU信息一目了然。1、# uname －a （Linux查看版本当前操作系统内核信息）Linux localhost.localdomain 2.4.20-8 #1 Thu Mar 13 17:54:28 EST 2003 i686 athlon i386 GNU/Linux2、# cat /...

转载 python获取多线程的返回值

import threadingclass MyThread(threading.Thread): def __init__(self,func,args=()): super(MyThread,self).__init__() self.func = func self.args = args def run(self):...

原创 imap收取163/126邮件报错

开始报的这个：imaplib.error: command SEARCH illegal in state AUTH, only allowed in states SELECTED网易为了推自己的客户端，邮箱大师，所以作怪。解决方案是通过下面的地址，配置一下即可：http://config.mail.163.com/settings/imap/index.jsp?uid=YOUR_EMA...

转载 [Pandas技巧] 如何把pandas dataframe对象或series对象转换成list

import pandas as pd df = pd.DataFrame({'a':[1,3,5,7,4,5,6,4,7,8,9], 'b':[3,5,6,2,4,6,7,8,7,8,9]})df['a'].values.tolist()[1, 3, 5, 7, 4, 5, 6, 4, 7, 8, 9]or you can just usedf['a'].tolist()[1,...

转载 解决: "E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) ..."

解决: “E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？”– 用此命令强行释放锁:sudo rm /var/cache/apt/archives/locksudo rm /var/lib/dpkg/lock...

转载 xxx.com和www.xxx.com的区别

XXX.com 是主域名！WWW.xxx.com 一般是域名的主页！在很多情况下，会配置成一样！！！也有可能，主域名不配置到具体的IP，可能无法解析。。C:\Windows\system32>nslookup baidu.com服务器: UnKnownAddress: 61.128.114.133非权威应答:名称: baidu.comAddresses: 22...

原创 pycharm安装pycrypto包出错“error: Microsoft Visual C 9.0 is required.”

python2.7，win10，pycharm安装pycrypto时显示出错，需要VC的依赖包。于是在pycharm的terminal里，使用pip install pycrypto安装，但是仍然报错。点击错误信息中的链接，下载了VCForPython27.msi，并安装，再在pycharm的terminal里pip install pycrpyto就成功了。本来网上查了一大圈，说的特别复...