灬心微-CSDN博客

原创 python操作mysql数据管理系统实现简易购物系统

python操作mysql数据管理系统实现简易购物系统一、准备(1)mysql数据库数据表：jd(商品数据总库），customer(所有用户信息)，detail_order(每次购买的数据商品信息)、pp(所有品牌的信息取两个字母)、goods_cate(所有商品的种类)、buy(每个订单的信息)（2）windows10 下python开发环境二、代码from pymysql import connectimport datetimeclass JD(object): def _

2020-07-07 01:27:11 2613 2

原创 mysql 8.0.20-zip 百度云

除了问题，数据库重新安装，节约内存把安装包删除了，无奈去官网下载，这下载真的龟速，下了整整半天。添加链接描述提取码：dxa8

2020-06-21 17:10:04 1736 5

原创天天刷算法（day01）：python算法题之记负取正、字符串分割

一、牛客网题目一：从输入任意个整型数，统计其中的负数个数并求所有非负数的平均值，结果保留一位小数，如果没有非负数，则平均值为0输入：输入任意个整数输出：输出负数个数以及所有非负数的平均值比如：输入:-13 -4 -7输出：3 0.0自己的解法：while 1: try: l=input().split() a,b,c=0,0,0 for i in l: if int(i)<0:

2020-06-20 15:06:41 529 1

原创爬虫（七）：虎牙直播爬虫

由于一直闲赋在家，很烦躁。人生路差点走歪，所幸还是回来了。一、环境平台：windows10 解释器：vscode二、网页分析这里主要有三个地方：（1）周榜是json动态生成的"https://www.huya.com/cache5min.php?m=WeekRank&do=getItemsByPid&pid=18405890只有pid这个数据是不一样的当然也是能在网页源码中发现这个是贵宾榜单也找到了，不过没有拿https://www.huya.c.

2020-06-19 09:18:33 2028 1

原创爬虫（六）：苏宁图书

苏宁图书爬虫一、开发环境平台：windows 解释器：vscode 模块：re、time、scrapy-redis、copy二、网页分析主要是价格这里json数据：#https://c0.3.cn/stock?skuId=11290882&cat=1713-3258-3303&venderId=1000013489&area=27_2468_2472_0经过分析都可以从原网页中找到组成skuId=11290882：item["skuId"]=li.xpath('.

2020-06-03 00:12:33 208

原创爬虫：豆瓣热门所有电视剧爬取

豆瓣热门电视剧爬取（电影类似）一、url地址利用chrome打开豆瓣，电视剧下刷新，打开开发者模式的nettwork，可以看到如下图，本页所有的数据都在这个请求响应下，，打开response，看到它的url地址是https://movie.douban.com/j/search_subjects?type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0经过翻页看到每一页20条数据，

2020-05-16 10:40:59 3646 1

原创 mongodb数据库基本命令与robo 3t可视化管理工具的使用

mongodb数据库基本命令引言：作为一种nosql数据库，mongodb已经被广泛应用数据存储。一、数据库下载以及robo 3t下载robo 3t:选择右边的按钮另外推荐一个可视化管理工具：vscode的azure cosmos DB微软推出的我最近一直在研究这个，感觉还挺好用的。mongodb：我自己使用的前版本二、启动数据库我将自己的mongodb保存在f:（事先在data文件夹下建立db文件夹，用来保存自己的数据）启动数据库：win+r cmd 启动命令提示符先切换到f:(

2020-05-14 17:26:40 1332

原创爬虫学习记录（五）：selenium+chrome的斗鱼网页爬虫

标题：selenium+chrome的斗鱼网页爬虫由于phantomjs已经不适用selenium，再加上chrome和firefox已经有了headless模式，因此采用chrome。此处为了查看结果未使用headless模式。一、代码from selenium import webdriverimport timeclass DouYuSpider: def __init_...

2020-05-08 02:15:52 234

原创爬虫（三）：爬虫构建自己的代理池

免费代理爬取构建自己的代理池其实，爬虫也很简单，唯一麻烦的就是网站的反爬。所以很多时候我们都会使用代理IP，来保护我们的IP。当然在公司的会有购买自己的代理池，但是像我们这些白嫖党就能省则省。代码很简单。实现网址为西刺，米扑也行。但是不是所有的都能使用，因此后续还需要改进的就是代理检测。过几天会更新import requestsimport headersimport redef g...

2020-04-18 03:50:16 388

原创无聊学爬虫（二）：有道翻译发送post请求

客户端给服务器发送数据的请求方式有两种：post和get思路借鉴：大佬区别：get请求的参数会在夹杂url中（类比明信片） post请求的参数则会保存在from data中(类比写信）而有道翻译就是很经典的post请求案列。我在抓包工具上获得了boby信息：i saidfrom AUTOto AUTOsmartresult dictclient fanyideskwebsa...

2020-04-05 03:42:11 436

原创无聊学爬虫(一)：爬虫案列之内涵段子

21世纪是数据时代，而数据的采集，数据的清洗，数据的处理与分析已经成为时代发展的必然，因此爬虫成为了一门必不可少的技术。话不多逼逼，直奔主题：

2020-03-23 15:39:37 267

qq_40399001的博客