- 博客(5)
- 收藏
- 关注
原创 Python爬虫-快速入门 urllib+beautifulsoup4+多线程(附wiki data实体搜索等各种demo)
写在前面:最近工作又要用到爬虫,利用商品的名称在wiki data上搜索实体id,再根据实体id爬取对应的实体详细信息。虽然wiki官网上建议我们串行爬取数据,但速度实在是太慢了(预估要爬12天,显然不河里),因此记录了下常用的各种包的用法,并编写了一个多线程的脚本(一小时左右就爬完了),分享出来供大家参考~注:wiki data需要科学上网,不能的话用下面baidu的demo练手即可~1.urllib与beautifulsoup这俩好兄弟是黄金组合,举个例子,拿到一条你需要爬..
2021-09-10 12:13:07 3512
原创 Java爬虫-快速入门 HttpClient+JSoup详解 (附各种Demo)
Java爬虫-快速入门HttpClient+JSoup详解 (附各种Demo)写在前面:记录了学习数据挖掘以来的学习历程,先上之前的一些总结,随着学习的加深会慢慢更新。Java爬虫-快速入门 目录1.所需环境2.HttpClient与Jsoup简介3.为什么要和JSoup共同使用?4.项目maven依赖5.HttpClient的入门使用(1)简介(2)上一...
2018-09-09 01:33:00 6068 4
原创 腾讯云服务器Ubuntu16 MySql+Nginx配置 03
腾讯云学生服务器配置 03 Mysql与Nginx配置目录腾讯云学生服务器配置 1.Mysql安装与配置外网访问(1)安装mysql(2)安装时可能出现的问题(2)配置外网访问(3)修改配置文件(4)修改服务器安全组设置2.安装与配置nginx图片服务器(通过nginx的反向代理)(1)从PPA源安装 Nginx (2)配置nginx1.Mysq...
2018-09-08 03:02:39 727
原创 腾讯云服务器Ubuntu16 JDK+Tomcat+MySql配置 02
腾讯云学生服务器配置02 配置ORACLE JDK1.8 与 Tomcat 7 及 静态页面的服务器部署附 Xshell 6 及 Xftp的安装与使用目录1.配置Oracle JDK82.配置Tomcat 73.部署静态html页面附:安装Xshell 6 及 Xftp1.配置Oracle JDK8一定先要用:sudo su 获取权限!!!!照例,先上配置成...
2018-09-06 23:16:00 480
原创 腾讯云服务器Ubuntu16 JDK+Tomcat+MySql配置 01
腾讯云学生服务器配置 01 服务器的基本配置写在前面:大二起开始自学Java,随着学习的深入,接触东西也越来越多,现在算是朝花夕拾吧,哈哈,把以前的一直东西归纳一下,然后再继续更自学的内容。最终目的是写些Web的项目丢服务器上练练手。目前是大三党正在预备考研,每晚抽出些许时间写博文,权当放松由于是回顾之前的知识,所以有些实例就不便上图了目录腾讯云学生服务器配置 1....
2018-09-05 22:55:57 439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人