weixin_36506731的博客

原创 移动指定文件夹下的部分图片到目标文件夹下

需要事先安装shutil库pip install pytest-shutil实现代码：import osimport randomimport shutilsaveBasePath = '/home/aistudio/PaddleDetection/dataset/'# 要移动的文件名目录，存放在txt文件夹下listDir = os.path.join(saveBasePath, 'voc/VOCdevkit/VOC2007/ImageSets/test_all.txt')#要移动

原创 vitualenvwrapper 配置默认创建环境的路径

workon修改默认虚拟环境创建位置配置默认创建环境的路径

原创 在Linux中配置java环境变量（4） -- 安装mysql

概述：通过源代码安装高版本的5.6.14。正文：一：卸载旧版本使用下面的命令检查是否安装有MySQL Serverrpm -qa | grep mysql有的话通过下面的命令来卸载掉目前我们查询到的是这样的：[root@hsp ~]# rpm -qa | grep mysqlmysql-libs-5.1.73-7.el6.x86_64如果查询到了，就删除吧rpm -e mys...

原创 在Linux中配置java环境变量（3） -- 安装eclipse

步骤 ：1）解压缩到/opt2)启动eclipse，配置jre和server打开eclipse 命令行 ./eclipse 也可以使用快捷方式打开3）编写jsp页面，测试 （注意运行前要把开启的tomcat关闭掉）此时在windows中...

原创 在Linux中配置java环境变量（2） -- 安装TOMCAT

步骤 ：1)传输压缩包到/opt中2）解压缩到/opt3)启动tomcat /startup.sh是开启指令 shutdown是关闭前提要先进入到tomcat的bin目录中（如果不想切进来才能启动，可以去配一个环境变量）启动 ： startup.sh此时在linux本地火狐浏览器中已经可以访问到tomcat，但是在windows中是不可以的：因为我们可以看到linux中此...

原创 在Linux中配置java环境变量（1） -- 安装JDK

本文用xftp传输相关文件到linux中安装jdk ：1）软件通过ftp上传到/opt下2）解压到/opt解压后 多了个 jdk文件夹3）配置环境变量的配置文件 vim /etc/profile （输入G直接到文件末尾）4）JAVA_HOME=/opt/jdk1.7.0_795）PATH=/opt/jdk1.7.0_79/bin:$PATH6）export JAVA_HO...

原创 大数据在抗疫中的作用和

2020年开年之际，新冠病毒汹涌而至，相较于2003年的SARS病毒，十余年间，新一代信息技术迅速发展，人类社会已经进入了大数据时代。大数据助力疫情防控的三大手段 ：分析涉疫人员的流动轨迹通过集成电信运营商，互联网公司，交通部门等单位的信息，大数据可以分析出人员流动轨迹，例如可以通过手机信令等包含地理位置和时间戳信息的数据进行分析，绘制出病患的行动轨迹，从而推断出病患密切接触者，通过综合分...

原创 select与truncate删除表的区别

基本语法 ：delect from boys where。。。truncate table boys区别 ：1.truncate删除，效率要高一丢丢2.delect 可以加where条件，truncate不能添加，只能删除整表3.假如要删除的表中有自增长列，如果用delete删除后，再插入数据，自增长列的值从断点开始，而truncate删除后，在插入数据，自增长列的值从1开始。4.t...

原创 jieba常见分词属性，词性

Ag 形语素 形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。 a 形容词 取英语形容词 adjective的第1个字母。 ad 副形词 直接作状语的形容词。形容词代码a和副词代码d并在一起。 ...

原创 Failed: error reading separator after document #1: bad JSON array format - found no opening bracket

今天往mongoDB内导入json数据时出现错误解决方案： 将--jsonArray换成--type json

原创 mangoDB快速导入json数据

1.以 JSON 对象形式导入:mongoimport -d 数据库名 -c 集合名 --file 文件名。2.以 JSON 数组形式导入:mongoimport -d 数据库名 -c 集合名 --file 文件名 --jsonArray。注意：如果 mongod 开启了权限验证，那么参数还要加入以下字段：-u 用户 (user)；-p 密码 (pwd)。...

原创 tesseract介绍，提高tesseract识别率的三种方法，爬虫验证码自动识别工具

tesseract简介： 光学识别只能识别简单的验证码 识别效率低下，很少使用转化为灰度图片使用： 安装tesseract 然后要设置环境变量Tesseract 3e0p.png lala识别3e0p图片，然后新建一个lala.txt保存识别的东西Tesseract 可以通过训练进行加强识别能力python使用安装 pip install...

原创 爬虫，验证码问题，爬取网页遇到验证码咋办？

1.将验证码下载到本地，程序停在input这，双击打开图片，识别验证码，输入验证码，程序继续 r_img = s.get(image_src,headers=headers) with open('code.png','wb') as fp: fp.write(r_img.content) ...

原创 Selenium support for PhantomJS has been deprecated, please use headless

问题原因：selenium版本过高，selenium已经放弃PhantomJS解决方案：卸载pip uninstall selenium，重新安装并指定版本号pip install selenium==2.48.0。

原创 selenium简单入门使用

原创 小项目 爬虫爬取图片 --站长素材网

要点： xpath懒加载问题t urllib.requestimport urllib.parseimport timefrom lxml import etreeimport osdef handle_request(url,page):# 第一页页码url单独判断if page==1:url = url.format(’’)else:url = url.format(’...

原创 懒加载问题，爬虫无法用src爬取图片问题

原创 如何在当前文件夹下快速运行cmd命令

按住shift之后右键文件夹会出现在此处打开命令窗口，不按shift不会出现

原创 Python NameError: name '_name_' is not define！的解决方法

有时候在正确写了main函数后，仍然会出现找不到main函数的问题，主要有以下两种情况常见问题1.拼写错误if name == ‘main’:main()注意两边都有双下划线2.将def main（）写在了if name == ‘main’: main()之后代码运行时，main（）函数写在了if name == ‘main’: main() 的后面一样会报错其他函数也可能出现这种...

原创 Bs4 简单使用

原创 beautifulSoup安装

原创 fiddler抓包工具使用详解

原创 xpath详解 xpath语法及其应用 爬虫神器