- 博客(87)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 supervisor安装使用
安装 pip install supervisor配置### 首先切换到root用户sudo su root### 生成配置文件，且放在/etc目录下echo_supervisord_conf > /etc/supervisord.conf ###为了不将所有新增配置信息全写在一个配置文件里，这里新建一个文件夹，每个程序设置一个配置文件，相互隔离mkdir /...
2020-04-23 19:50:13
1905
原创 ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl back
首先尝试重新安装解决pip uninstall pycurlexport PYCURL_SSL_LIBRARY=opensslpip install pycurl但是这里有一个坑：在高版本的mac系统环境变量里是找不到openssl的头文件的pip uninstall pycurl# 卸载库export PYCURL_SSL_LIBRARY=opensslexport LDFLAG...
2019-12-31 16:05:16
2869
原创 元类实现单例模式
# -*- coding:utf-8 -*-class Singleton(type): """ 单例模式 e.g. #Python2 class MyClass(BaseClass): __metaclass__ = Singleton #Python3 class MyClass(BaseClass, ...
2019-12-19 22:34:47
276
原创 MySQL-python安装不成功 ERROR: Command errored out with exit status 1: python setup.py egg_info Check the
报错信息 ERROR: Command errored out with exit status 1: command: /Users/liuzh/Documents/tiger/auth_guardian/venv/bin/python -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/tmp/p...
2019-12-17 20:22:34
9685
转载 通俗理解@functools.wraps()
功能Python装饰器（decorator）在实现的时候，被装饰后的函数其实已经是另外一个函数了（函数名等函数属性会发生改变），为了不影响，Python的functools包中提供了一个叫wraps的decorator来消除这样的副作用。写一个decorator的时候，最好在实现之前加上functools的wrap，它能保留原有函数的名称和函数属性不加wrapsdef my_decorato...
2019-12-17 20:03:22
14525
2
原创 1205 - Lock wait timeout exceeded; try restarting transaction, Time:
解决办法：– 查询被锁语句select * from information_schema.innodb_trx– 我们可以用下面三张表来查原因：-- innodb_trx 当前运行的所有事务-- innodb_locks 当前出现的锁-- innodb_lock_waits 锁等待的对应关系– 找到trx_mysql_thread_idkill 738178711– 查询...
2019-11-14 14:44:02
223
原创 mysql中使用update同时更新多个字段，包括select查询
错误尝试：update 表名 set(字段1,字段2,字段3,...) = (select 数值1,数值2,数值3,...) where 条件 正确方式：# 不使用select情况UPDATE OldData o, NewData n SET o.name = n.name, o.address = n.address where n.nid=234 and o.id=123;...
2019-10-28 16:00:32
94249
5
原创 mysql高性能去重方法
问题描述：由于table中的数据量达到千万级别，使用原来的去重机制（详见https://blog.csdn.net/liuzonghao88/article/details/88822039）性能过低解决方案：新建一个t_copy表结构和原始t表具有相同结构：CREATE TABLE t_copy LIKE t;选择不要删除的行插入与原始表具有相同结构的空表：INSERT INTO ...
2019-10-16 14:35:35
555
原创 笔试中python3的标准输入
举个例子：输入1 2 3 4获取输入值List = []try: while True: line = sys.stdin.readline().strip() if line == "": break lines = line.split() List.append([int(lines...
2019-09-07 19:48:10
1298
原创 python中使用进度条
运行代码：import timefrom tqdm import tqdmfor i in tqdm(range(5000)): time.sleep(0.01)效果： 25%|██▌ | 1263/5000 [00:14<00:43, 85.34it/s]
2019-08-19 18:43:31
213
原创 Python发送邮件（smtplib）
import smtplib #加载smtplib模块from email.mime.text import MIMETextfrom email.utils import formataddrimport timemy_sender='发件人邮箱账号' #发件人邮箱账号my_password = '发件人邮箱密码'my_user=['收件人邮箱账号1', '收件人邮箱账号2']...
2019-08-19 15:36:32
909
原创 crontab定时任务实例
需求：每天早上6点运行DailyUpdate.py文件将文件的运行流程写成一个shell脚本DailyUpdate.py所在的路径是/home/BlueRunSpider/qmp/function/API/function/qmp_original_data_build/update/# 创建shell脚本cd /home/BlueRunSpider/qmp/function/API/...
2019-08-08 13:41:09
313
原创 通过url上传图片到oss
通过图片原始url请求图片然后上传到oss中并返回图片新的urlimport ioimport requestsimport oss2'''funtion: 传入image_url和oss文件夹名，上传image到oss,返回新的image_url和状态码'''auth = oss2.Auth('<>', '<>')endpoint = '<>...
2019-08-05 14:11:09
4234
原创 python中去除字符串中空格，换行问题
先来说说空格问题吧！如果字符串之间都是标准空格那就很好办了。一句话搞定str = str.replace(" ", "")但是往往有一些情况是，空格不定长，这样上述办法就不好处理了。举个例子：def main(): str = '智普信科技 智能安防云 首页 产品与服务 产品展示 Safirst/初柜 ...
2019-07-23 16:29:25
3490
1
原创 python中解析html中的meta（title,description,keywords）信息
html中的meta信息往往包含title,description,keywords,下面通过BeautifulSoup来解析meta信息from bs4 import BeautifulSoupfrom selenium import webdriverdef main(): driver = webdriver.Chrome() driver.get('https:/...
2019-07-23 14:21:00
3623
1
原创 Python中去除html中的标签，css(style样式)
需求：获取公司官网数据question1：部分网站是通过js动态加载的，如果直接只用requests.get(url)，就会出现获取信息不全的问题，举个例子:import requestsdef main(): r = requests.get('https://www.tee.com/index') print(r.text)if __name__ == '__ma...
2019-07-23 13:52:43
6442
2
原创 动手实践bert+BiLstm+crf
网上大部分都是使用ChinaPeoplesDailyNerCorpus语料做的，真正应用到自已的语料和需求中还是有一些坑，这里整理记录一下首先明确语料需要处理成什么格式，贴图理解一下这里面需要搞清楚几点，我们的语料最小粒度是字级别的，然后每句话结束会有一个空行（当年踩过的坑），后面的标记简单科普一下，专业人士直接跳过，大O表示非实体，B-ORD表示机构开头第一个字，I-ORD表示中间，有些预...
2019-06-26 17:08:06
18764
19
原创 解决终端运行代码导包问题ModuleNotFoundError: No module named 'qmp'
问题简述：pycharm运行没有问题的代码，终端运行提示 提示导包问题先来看看目录结构执行命令cd ....../BlueRunSpider/qmp/function/spider/goose3_GASPpython3 main.py 错误信息Traceback (most recent call last): File "main.py", line 4, in <m...
2019-06-21 11:12:24
3951
1
原创 Xpath根据标签包裹的内容定位标签
需求：根据内容 “北京” 定位span标签，然后点击xpath语法：self.driver.find_element_by_xpath('//span[contains(text(), "北京")]').click()
2019-06-21 10:52:21
2407
转载 批量读取数据next_batch()简单实现
def next_batch(train_data, train_target, batch_size): index = [ i for i in range(0,len(train_target)) ] np.random.shuffle(index); batch_data = []; batch_target = []; for i...
2019-06-19 14:45:28
1655
原创 src标签动态传入图片地址
<img src="{{ url_for('static', filename='image/') }}{{ context.projectname + '.png' }}" >
2019-06-14 16:09:04
3956
原创 TensorFlow 多标签转化为one-hot
import tensorflow as tfdef main(): NUM_CLASSES = 2 # 2分类 labels = [0, 1, 1, 0, 1, 0, 1, 0] # sample label batch_size = tf.size(labels) # get size of labels : 8 labels = tf.expand_...
2019-06-14 11:21:13
1487
原创 提取html网页正文信息
最近陆陆续续尝试了一些解析html的方法，场景不同，说不好孰优孰劣，请自行选择版本一（goose）：py2版本： https://github.com/grangier/python-goosepy3版本：https://github.com/goose3/goose3版本二（boilerpipe）：https://github.com/misja/python-boilerpipe版...
2019-06-11 18:52:35
3649
原创 Python爬虫解决乱码问题
问题原因：爬取的所有网页无论何种编码格式，都转化为utf-8格式进行存储，与源代码编码格式不同所以出现乱码。目前大部分都是utf-8格式或者ISO-8859-1，一部分是gbk格式（会出现乱码），国内网页还没有看到别的编码格式，欢迎补充指正！简单科普一下： UTF-8通用性比较好，是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。U...
2019-06-04 12:08:30
4689
原创 使用pymysql查询数据库，将结果保存为列表并获取指定元素下标
from pymysql import *from qmp.config import *def main(): conn = connect(host=HOST, port=3306, database=DATABASE, user=USER, password=PASSWORD, charset='utf8') cs1 = conn...
2019-06-04 10:31:17
11471
原创 查看网页源码的编码格式
需求：解析网页数据时偶尔会出现乱码，这是由于编码格式不对导致的，这时我们就需要知道网页源码的编码方式解决办法：以http://stock.jrj.com.cn/2018/12/04000025448047.shtml为例使用谷歌浏览器打开网页右键—>检查点击Console输入document.charset，然后回车运行结果...
2019-06-03 13:04:39
6353
转载 卷积神经网络（CNN）在TensorFlow文本分类中的应用
好文推荐卷积神经网络（CNN）在TensorFlow文本分类中的应用英文原版Implementing a CNN for Text Classification in TensorFlowgithub源码cnn-text-classification-tf
2019-05-07 20:46:28
340
转载 理解NLP中的卷积神经网络（CNN）
好文推荐理解NLP中的卷积神经网络（CNN）英文原版Understanding Convolutional Neural Networks for NLP
2019-05-07 17:15:07
421
转载 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较
好文推荐放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较
2019-04-25 11:34:50
322
原创 urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_s
解决方案：全局取消证书验证import sslssl._create_default_https_context = ssl._create_unverified_context
2019-04-24 14:39:43
2050
1
原创 python3使用pymysql操作数据库时字符串中含有单双引号（""/''）的问题
操作之前多加一步转化pymysql.escape_string(str)
2019-04-23 12:23:32
5422
转载 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
干货推荐从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
2019-04-22 11:23:37
284
转载 error: The following untracked working tree files would be overwritten by merge:
问题：运行git pull错误信息：error: The following untracked working tree files would be overwritten by merge:解决办法：git clean -d -fx然后再 git pull
2019-04-19 13:54:57
55978
3
原创 Flask 通过URL传递参数，参数中含有'/'斜杠问题
**问题：**Flask 通过URL传递参数，参数中含有’/'斜杠会出现如下报错信息The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.解决办法：后端接受参数的地方指定类型为path，如下：@bluep...
2019-04-18 13:31:11
6177
深度学习基础
2019-04-13
数据挖掘基础
2019-04-13
机器学习基础
2019-04-13
数据结构基础
2019-04-13
python爬虫基础
2019-04-13
前端基础知识
2019-04-13
Flask项目详情
2019-04-13
django项目
2019-04-13
django基础
2019-04-13
python高级Linux|tcp|线程
2019-04-13
Python高级HTTP|Mysql
2019-04-13
python基础
2019-04-13
斯坦福大学 2014 机器学习教程
2019-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人