Learning from the mistakes

我问佛∶世间为何有那麽多遗憾？佛曰∶这是一个婆娑世界，婆娑既遗憾，没有遗憾，给你再多幸福也不会体会快乐。

原创 python3 zipfile.BadZipFile: File is not a zip file

今天在安装python-Levenshtein的时候出现了下面的问题： File "/usr/lib/python3/dist-packages/pip/commands/install.py", line 353, in run wb.build(autobuilding=True) File "/usr/lib/python3/dist-packages/pip/wheel....

2020-03-23 19:15:03 6235

原创 mac python3 利用mitmproxy抓取安卓手机流量包

最近试了一下利用mitmproxy来抓取安卓手机流量，用于分析。前面使用过Charles,但是是图形化界面的，不方便把数据存下来，mitmproxy支持python编程，容易把数据存放起来，所以这里分享一下使用方法。安装首先下载网易mumu模拟器，用于android手机模拟，这是因为真机有诸多的限制，所以用模拟器方便一点，下载链接为：http://mumu.163.com/ 然后需要安...

2020-03-21 20:04:13 1212

原创 AttributeError: module 'yaml' has no attribute 'FullLoader'

今天在用yaml的时候出现了下面的错误：---------------------------------------------------------------------------AttributeError Traceback (most recent call last)<ipython-input-8-e2164...

2020-03-17 15:28:29 25385 8

原创 ubuntu18.04安装了anaconda的后，让.bashrc文件在终端自动生效

今天发现每次远程登陆使用conda的时候，都会找不到conda命令，但是命名anaconda已经安装了，然后也加入到了环境变量了。后来发现，每次通过ssh打开终端，都需要每次手动生效bashrcsource ～/.bashrc解决方法在.bash_profile文件里重新引用一次.bashrcvim ~/.bash_profile添加的代码如下：if test -...

2020-03-17 09:43:31 2750

原创 ubuntu 安装librosa的时候出现No matching distribution found for pytest-runner

今天在安装librosa的时候出现了下面的错误：wugaosheng@s206:~$ pip3 install librosaCollecting librosa Downloading http://mirrors.aliyun.com/pypi/packages/77/b5/1817862d64a7c231afd15419d8418ae1f000742cac275e85c74b21...

2020-03-10 18:25:50 5487

原创 mac安装warpctc-pytorch

最近在做语音识别项目的训练，发现需要安装pytorch版本的ctc，这个包需要编译，这里我来分享一下我的安装过程：git clone https://github.com/SeanNaren/warp-ctc.gitcd warp-ctcmkdir build; cd buildcmake ..你可能会遇见下面的错误：zsh: command not found: cmake...

2020-03-09 17:00:28 984 1

原创 mac ModuleNotFoundError: No module named 'Levenshtein'

今天在运行语音识别程序的时候出现了下面的错误：Traceback (most recent call last): File "train.py", line 6, in <module> from decoder import GreedyDecoder File "/Users/admin/Documents/pythonFiles/speech_recogn...

2020-03-09 15:57:39 4750

原创 ubuntu 18.04检查服务器异常重启的日志

最近服务器老是重启，要查看原因的话，可以查看日志，日志的命令为：journalctl -xe我的日志为：3月 04 12:20:50 eric-HP-Z420-Workstation kernel: EDAC MC0: 11 CE memory scrubbing error on CPU_SrcID#0_Ha#0_Chan#2_DIMM#0 or CPU_SrcID#0_Ha#0...

2020-03-04 12:33:13 14919 2

原创 python3 BD09ll转换WGS84坐标系，入门教程

最近最近试了一下一个网站的代码，链接为：http://www.forhoney.cn/2019/06/10/bd09ll%E8%BD%AC%E6%8D%A2wgs84%E5%9D%90%E6%A0%87%E7%B3%BB-python%E7%AF%87/发现只贴了核心代码，没有给出具体的使用示例，特别对初学者不友好，所以这里写了一个分享，我修改的代码为（demo.py）：import p...

2020-03-03 14:49:11 2990 2

原创 mac 安装ctcdecode

今天在mac上安装ctcdecode的时候碰到了很多问题，这里分享一下我的安装过程：git clone --recursive https://github.com/parlance/ctcdecode.gitcd ctcdecodepip install wgetpip install .可能会报错：(base) ➜ ctcdecode git:(master) pip ...

2020-02-26 11:40:19 1707 3

原创 mac安装pocketsphinx-python出现错误

今天我在mac上安装pocketsphinx的时候，出现了下面的错误：....deps/sphinxbase/src/libsphinxad/ad_openal.c:43:10: fatal error: 'al.h' file not found #include <al.h>解决方法最后查资料发现，mac上需要通过源代码安装：git clone --r...

2020-02-25 18:53:01 1638 1

原创 ubuntu18.04修改pip源为阿里源

最近装新机器的时候总是需要换pip下载源，索性给自己写个教程吧，以后用得着cd ~mkdir .pipcd ~/.piptouch pip.confvim pip.conf然后写入：[global]trusted-host=mirrors.aliyun.comindex-url=https://mirrors.aliyun.com/pypi/simple/按照下...

2020-02-22 09:49:46 2192 1

原创 mac使用juicefs的时候TypeError: a bytes-like object is required, not 'str'

今天在挂在juicefs的时候出现的下面的错误：Traceback (most recent call last): File "./juicefs", line 2039, in <module> sys.exit(main() or 0) File "./juicefs", line 2037, in main return globals()[com...

2020-02-20 11:48:38 375

原创 python3 PyPDF2分割pdf

首先需要安装:pip install PyPDF2然后利用下面的代码：from PyPDF2 import PdfFileReader, PdfFileWriter# PDF文件分割def split_pdf(read_file, out_detail): try: fp_read_file = open(read_file, 'rb') ...

2020-02-14 19:55:20 2292

原创 ubuntu18.04修改密码出现Authentication token manipulation error

今天需要修改一下ubuntu18.04的密码，但是修改密码的时候，出现了下面的错误：Authentication token manipulation error网上给出的解释是没有啥权限。解决方法sudo mount -o remount,rw /加一个sudo就行了eric@eric-HP-Z420-Workstation:~$ sudo passwd er...

2020-02-13 15:16:37 1265

原创 ubuntu18.04 tensorflow 1.14运行程序的时候出现cuDNN failed to initialize

今天再运行程序的时候出现了下面的错误：2020-02-12 13:06:06.483007: W tensorflow/compiler/jit/mark_for_compilation_pass.cc:1412] (One-time warning): Not using XLA:CPU for cluster because envvar TF_XLA_FLAGS=--tf_xla_cp...

2020-02-12 13:08:23 2081

原创 python list数据用pandas的csv输出

在用python操作文件的时候，经常会碰到数据是list格式的，但是导出的时候需要用到pandas，我这里写了一个转换的样例，供大家参考：构造list数据text='《中国青年报》消息称，吉利德公司表示，已与中国卫生部门达成了协议，支持开展两项临床试验，以确定瑞德西韦作为冠状病毒潜在治疗手段的安全性和有效性。研究主要包含两项：一项是评估针对“已住院但未表现出显著临床症状的患者”的疗效，一...

2020-02-06 14:40:16 1521

原创 ubuntu 18.04安装向日葵的时候出现缺少libwebkitgtk 3.0

今天尝试了一下在ubuntu 18.04上安装向日葵，出现了下面的错误：Package libwebkitgtk-3.0-0 is not installed解决方法sudo apt install -f利用系统命令自动安装依赖就行了，然后再安装向日葵就可以安装成功了。参考文献[1].How do I install libwebkitgtk-1.0-0 on U...

2020-02-05 12:46:01 18016 7

原创 mac pyaudio Reason: image not found

几天在跑python的vad程序的时候，出现了下面的问题：(base) ➜ python-vad git:(master) python vad.pyCould not import the PyAudio C module '_portaudio'.Traceback (most recent call last): File "vad.py", line 10, in <...

2020-02-03 18:39:45 607

原创 mac 安装webrtcvad出现了gcc的问题

今天使用下面的命令安装webrtcvad的时候出现了下面的问题，命令为：pip install webrtcvad错误信息为：(base) ➜ ~ pip install webrtcvadLooking in indexes: http://mirrors.aliyun.com/pypi/simple/Collecting webrtcvad Downloading h...

2020-02-03 17:49:21 2083

原创 SoX中的Silence的用法

最近用了SoX库的Silence，发现官方的教程读得我是云里雾里，所以特地写一个教程学习一下。我生成了一个60ms白噪声的音频文件，随后把其中几个部分做成静音，生成的音频如下：例子1.切除音频中开始的静音sox in.wav out1.wav silence 1 0.1 1%above-period 参数放在silence参数之后，如果你想使用这个过滤器，首先要设置1...

2020-02-02 17:19:24 2896 1

原创 mac制作ubuntu 18.04 U盘启动盘

最近由于需要安装ubuntu系统，手头上没有windows电脑，我这里分享一下在mac上免费的制作Ubuntu U盘启动盘的操作：首先插入U盘到mac上diskutil list/dev/disk0 (internal, physical): #: TYPE NAME SIZE ID...

2020-01-19 09:57:41 7020 1

原创 python3 统计一个list的词频

做统计机器学习经常需要统计，这里我来分享一下怎样统计一个list里面每个字符串的频率：from collections import Counterword_count=['I','am','from','China',',','I','Love','my','country','!','!','!']counter = Counter(word_count)dictionary=d...

2020-01-13 11:18:58 2956

原创 python3 json读取和写入带中文的文件

在用python的时候，我们经常需要保存数据为json格式，虽然是一个简单的操作，但是经常会记不住怎么操作，我这里梳理一下带中文的数据的json保存和读取dumps ：把数据类型转换成字符串dump ：把数据类型转换成字符串并存储在文件中loads ：把字符串转换成数据类型load ：把文件打开从字符串转换成数据类型json只能序列化最基本的数据类型，josn只能把常用的...

2020-01-10 10:12:03 1807

原创 mac sox安装

sox的mac安装非常简单，但是百度上居然没搜到，这里弥补一下空缺，首先安装homebrew：ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" < /dev/null 2> /dev/null然后，安装sox：brew install sox...

2020-01-07 16:39:12 3543

原创 pyqt5 TypeError: getOpenFileName(parent: QWidget = None, caption: str = '', directory: str = '', fil

今天在用pyqt5打开文件的时候，出现了下面的错误：Traceback (most recent call last): File "/Users/admin/PycharmProjects/test_qt/src/tooth.py", line 20, in openimage imgName, imgType = QFileDialog.getOpenFileName( '选...

2020-01-05 20:48:37 1775

原创 ubuntu 18.04安装pyrouge No such file or directory: 'yourpath/.pyrouge/settings.ini'

最初安装pyrouge:pip install pyrouge出现了下面的错误：FileNotFoundError: [Errno 2] No such file or directory: 'yourpath/.pyrouge/settings.ini'解决方法git clone https://github.com/andersjo/pyrouge.git pyr...

2020-01-02 09:59:29 2776

原创 keras flask (Could not find resource: localhost/res4b_branch2a/bias)

今天在用keras flask部署模型的时候，出现了下面的错误：File "app.py", line 132, in predict preds = model.predict(image) File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/keras/engine/training.py", line...

2019-12-27 23:24:51 1540

原创 AttributeError: module 'scipy.misc' has no attribute 'imrotate'

今天在运行程序的时候程序出现了下面的错误：、Traceback (most recent call last): File "tools/train.py", line 144, in <module> main() File "tools/train.py", line 117, in main optimizer, epoch, writer_dict...

2019-12-26 00:07:31 2177

原创 pytorch-pretrained-bert的模型下载慢的问题

今天需要用到pytorch-pretained-bert，但是下载预训练的模型花费了好长时间，这里来分享以下解决方法，其安装过程为：pip install pytorch-pretrained-bert如果调用BertModel等模型的时候，需要下载相应的预先训练模型，下载后的文件存放在cache文件夹：~/.pytorch_pretrained_bert/但是这个下载的过程我是等到...

2019-12-23 15:45:56 7247 2

原创 mac安装mysql 8.0版本

mysql8.0既可以用homebrew安装，也可以自己下载安装包安装，这里介绍第二种方法。mysql的下载地址为：https://dev.mysql.com/downloads/file/?id=490317选择里面的：https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.18-macos10.14-x86_64.dmg下载速...

2019-12-22 23:24:39 622

原创 mac 彻底删除mysql 8.0

今天在使用mysql 8.0的时候出现了问题，经过多次抢救无效的情况下，决定卸载了mysql，这里记录一下卸载的过程：1. 打开终端2. 检查mysql进程：ps -ax | grep mysql停止或者杀死任何mysql进程3. 分析homebrew的mysql：brew remove mysqlbrew cleanup4. 移除文件：sudo rm /u...

2019-12-22 23:11:09 6997

原创 mac 2059 - Authentication plugin 'caching_sha2_password' cannot be loaded:

今天在用navicat连接mysql 8.0的时候出现了下面的错误：2059 - Authentication plugin 'caching_sha2_password' cannot be loaded: dlopen(../Frameworks/caching_sha2_password.so, 2): image not found解决方法终端登陆mysql，然后...

2019-12-22 22:57:42 683

原创 pandas 输出所有的行或者列

我们在用pandas查看信息的时候，往往列数过多了之后，就会用省略号把中间的列省去，这对于分析和查看造成了不便，这里只需要简单的设置就可以显示了：import pandas as pdpd.options.display.max_columns = None如果要显示所有的行的话，则：import pandas as pdpd.options.display.max_rows ...

2019-12-03 10:13:55 8543

原创 ubuntu16.04 中matplotlib解决显示中文为方框

今天需要用matplotlib显示中文，下面及就分享一下我的个人解决过程，首先下载SimHei,下载网址为：http://www.downcc.com/font/7665.html然后打开一个py文件写入代码：import matplotlibprint(matplotlib.matplotlib_fname())会显示一个路径，我的路径为，把上面下载的SimHei放到该路径的...

2019-12-02 21:26:40 591

原创 py2neo NameError: name 'open' is not defined

今天在使用py2neo的时候出现了下面的错误：GraphDataUpdate.py:122: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time inste...

2019-12-02 13:35:02 1688

原创 ubuntu 添加cuda到bashrc环境变量

在使用下面命令的时候，会出现找不到该命令，但是cuda已经安装好了，这是因为cuda环境变量有问题，执行的命令为：nvcc -V需要添加的环境变量，我安装的是cuda-10，这里根据安装的cuda版本自行更改下面的配置, vim ~/.bashrc：export PATH=/usr/local/cuda-10.0/bin:$PATHexport LD_LIBRARY_PATH=/...

2019-11-28 22:25:28 40753 2

原创 py2neo 给关系增加属性

在用neo4j的时候，可能有一条边有多个属性，这个时候怎么用py2neo来添加呢，这里给我我的例子：node1 = Node('person', per_name='Alice_1')node2 = Node('person', per_name='Bob_1')properties={'date':'2019-07-11'}node1_vs_node2 = Relationship(...

2019-11-28 17:50:15 5989 2

原创实体对齐基础：基于Neo4j 图数据库的知识图谱的关联对齐-最小编辑距离-jacard算法

最近在做知识图谱的时候，需要用到实体对齐的方法，后面发现了用最小编辑距离和jacard可以做一个实体对齐的算法，原代码见参考文献，但是源代码写得有点粗糙，我这里重新整理了一下，最小编辑距离代码：def edit_distance(word1, word2): len1 = len(word1) len2 = len(word2) dp = np.zeros((len1...

2019-11-26 18:35:18 3184 2

原创 keras ImportError: cannot import name 'get_source_inputs'

今天在运行efficientnet程序的时候，出现了下面的错误： from ._conv import register_converters as _register_convertersUsing TensorFlow backend.Traceback (most recent call last): File "run.py", line 10, in <module...

2019-11-21 21:19:02 3385 1