- 博客(58)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 淘宝评论爬取(2020-08-21)update 2020-09-18
爬取淘宝产品评论及分析需求爬取淘宝天猫店,某个单品的评论,根据评论内容生成词云,以及对评论做情感分析分析1.登录淘宝。找到某个产品,点击评论。2.进入评论页面后,按F12调出开发者工具,在Network 找list_det。打开后点击Preview。可以找到评论数据,数据类型是json。一页评论20条(怎么判断是ajax异步加载?个人判断是点击第二页的时,ie中的url没有改变从而推测是ajax异步加载。)构建ajax异步加载分析:ajax请问url 就是红色框的Request URL
2020-08-21 17:33:17
7276
3
原创 MySQL 插入数据报错 Incorrect string value
1.“CHARSET” 是字符集的意思,它定义了用于存储和检索数据的字符集。这对于包含西欧字符的数据比较合适。varchar(100) DEFAULT NULL COMMENT ‘样式属性(其他样式扩展)’,varchar(100) DEFAULT NULL COMMENT ‘样式属性(其他样式扩展)’,varchar(100) DEFAULT NULL COMMENT ‘样式属性(其他样式扩展)’,varchar(100) DEFAULT NULL COMMENT ‘样式属性(其他样式扩展)’,
2023-11-29 14:46:26
1969
转载 SQL Server查找数据记录的⼏种⽅式
2.Clustered Index Scan–聚集索引扫描(较慢),按聚集索引对记录逐⾏进⾏检查,对有主键/聚集索引的表进⾏⽆条件查找或者使⽤主。5.Clustered Index Seek–聚集索引查找(最快),直接根据聚集索引获取记录,建⽴⾮聚集索引并把其他显⽰列加⼊索引中并把聚集索引。4.Index Seek–索引查找(较快),根据索引定位记录所在位置再取出记录,建⽴⾮聚集索引并把其他显⽰列加⼊索引中;3.Index Scan–索引扫描(普通),根据索引滤出部分数据在进⾏逐⾏检查,;
2022-09-06 13:33:09
622
原创 TIANCHI_MYSQL_TASK01
Task01:初识数据库与SQL-天池龙珠计划SQL训练营by 2021-11-15目录一、初识数据库数据库是将大量数据保存起来,通过计算机加工而成的可以 进行高效访问的数据集合。该数据集合称为数据库(Database,DB)。用来管理数据库的计算机系统称为数据库管理系统(Database Management System,DBMS)。1.1 DBMS的种类DBMS 主要通过数据的保存格式(数据库的种类)来进行分类,现阶段主要有以下 5 种类型.层次数据库(Hierarchical Data
2021-11-18 16:20:45
189
原创 SQL 常用系统表
—系统工具–查询当前数据库中所有表名 xtype=‘U’:表示所有用户表,xtype=‘S’:表示所有系统表。SELECT * FROM sysobjects WHERE xtype = ‘U’;SELECT * FROM sysobjects WHERE xtype = ‘S’;–查询指定表中的所有字段名 id 等于 sysobjects的IDSELECT * FROM syscolumns WHERE Id = ‘107141’;–查询数据库中所有的表名及行数SELECT a.name,
2021-03-19 09:26:33
428
原创 TAINCHI_TASK03_SQL (视图、子查询、函数)
TAINCHI_TASK03_SQL (视图、子查询、函数)3.1 视图3.1.1 什么是视图视图是一个虚拟的表,不同于直接操作数据表,视图是依据SELECT语句来创建的(会在下面具体介绍),所以操作视图时会根据创建视图的SELECT语句生成一张虚拟表,然后在这张虚拟表上做SQL操作。3.1.2 视图与表有什么区别《sql基础教程 第2版》用一句话非常凝练的概括了视图与表的区别—“是否保存了实际的数据”。所以视图并不是数据库真实存储的数据表,它可以看作是一个窗口,通过这个窗口我们可以看到数据库表
2021-02-07 22:05:02
284
2
原创 TIANCHI_MYSQL_TASK02
TAINCHI_TASK02_SQL用例:--创建表;CREATE TABLE product( product_id CHAR(4) NOT NULL, product_name VARCHAR(100) NOT NULL, product_type VARCHAR(32) NOT NULL, sale_price INTEGER, purchase_price INTEGER, regist_date DATE, P
2021-02-06 22:43:11
154
原创 pip升级问题
升级后 PIP 执行报错ModuleNotFoundError: No module named ‘pip’可以执行:python -m ensurepip 修复python -m pip install --upgrade pip 再升级如果执行pip 报其他错误,可以重新来一次先用python -m ensurepipD:\Python38\Scripts>python -m ensurepipLooking in links: c:\Users\zzk\AppData\Lo
2020-11-13 16:30:26
233
原创 GIt 入门使用
Git使用说明:Git :分布式版本控制系统1.安装在Windows上使用Git,可以从Git官网直接下载安装程序,然后按默认选项安装即可。安装完成后,在开始菜单里找到“Git”->“Git Bash”,蹦出一个类似命令行窗口的东西,就说明Git安装成功!1.1配置:git config --global user.name "Your Name"git config --global user.email "email@example.com"因为Git是分布式版本控制系统,所以,
2020-09-16 11:37:33
645
原创 python语言程序设计:第7周 测试以及练习
# 第7周练习# 05# 附件是一个CSV文件,其中每个数据前后存在空格,请对其进行清洗,要求如下:# (1)去掉每个数据前后空格,即数据之间仅用逗号(,)分割;
2020-08-07 11:15:03
1311
原创 递归函数简单理解
递归函数定义:函数定义中调用函数自身的方式(ps 回调函数:又叫函数回调,指的是将函数作为参数传递到另外的函数中执行。)递归两特征:链条:计算过程存在递归链条。基例:存在一个或多个不需要再次递归的基例。# 递归def f(n): if n == 1: return 1 else: return n*f(n-1)print(f(5))# 执行过程:# f(5)# 5*f(4)# 5*(4*f(3))# 5*(4*(3*f(2)))
2020-07-29 15:16:32
1627
原创 绘制七段数码管
# 绘制七段数码管import turtle, timedef drawGap(): """ 绘制数码管间隔 抬笔,向前5像素 :return: """ turtle.penup() turtle.fd(5)def drawLine(draw): """ 画线函数 画一条线,通过控制画笔抬起,放落,画线。 :param draw: True :return: """ drawGap()
2020-07-28 10:22:36
373
原创 数据分析和展示 numpy入库
NumPy 库入门(是SciPy、Pandas等数据处理或科学计算库的基础)数据维度:一维数据,二维数据,多维数据一维数据:由对等关系的有序或无序数据构成,采用线性方式组织。对应列表,数组和集合等概念。例:[3.1398, 3.1349, 3.1376] 或 {3.1398, 3.1349, 3.1376}二维数据:由多个一维数据构成,是一维数据的组合形式。例:[[3.1398, 3.1349, 3.1376],[3.1413, 3.1404, 3.1401]]多维数据:由一维或
2020-07-14 11:09:30
316
原创 数据分析与展示 pandas 入门
pandas 入门Pandas 库的介绍Pandas 库的引用pandas是python第三方库,提供高性能易用数据类型和分析工具import pandas as pdPandas基于NumPy实现,常与NumPy和Matplotlib一同使用Pandas 库小测import pandas as pdd = pd.Series(range(20))print(d)print(d.cumsum())Pandas 库的理解两个数据类型:Series, DataFrame基于上述数据
2020-07-10 14:19:44
219
原创 数据分析与展示 Matplotlib 基础绘图函数示例
Matplotlib 基础绘图函数示例pyplot 基础图表函数概述pyplot的基础图标函数函数说明plt.plot(x,y,fmt,…)绘制一个坐标图
2020-07-08 11:24:07
310
原创 数据分析与展示 Matplotlib库入门
Matplotlib库入门说明:Matplotlib库由各种可视化类构成,内部结构复杂,受Matlab启发matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 improt matplotlib.pyplot as pltmatplotlib小测例1: matplotlib小测import matplotlib.pylab as plt# plt.plot()只有一个输入或数组时,参数被当作y轴,x轴以索引自动生成;# plt.plot(x,y)当两个以上参数时,按
2020-07-07 16:48:44
251
转载 分组取值
SELECT *FROM (SELECT 分组的字段名, ROW_NUMBER() OVER(PARTITION BY 分组的字段名ORDER BY 排序的字段名) AS RN FROM 表名)WHERE RN <= 10 得到分组后,数据的前几条
2020-07-07 10:45:07
277
原创 anaconda琐事
一.异常当在windows下面的Anaconda的命令行中运行 conda update --all 时,如果出现Collecting package metadata (current_repodata.json): failed的错误提示,可以按照下面的方式来解决掉:把路径“Anaconda3/Library/bin ”下面的文件复制到路径“Anaconda3/DLLs”下 :libcrypto-1_1-x64.dlllibssl-1_1-x64.dll二.主要分为管理环境的命令和管理包的命令
2020-06-22 10:35:47
151
转载 Python3 zip() 函数
描述zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的对象,这样做的好处是节约了不少的内存。我们可以使用 list() 转换来输出列表。如果各个迭代器的元素个数不一致,则返回列表长度与最短的对象相同,利用 * 号操作符,可以将元组解压为列表。语法zip 语法:zip([iterable, …])参数说明:iterabl – 一个或多个迭代器;返回值返回一个对象。实例以下实例展示了 zip 的使用方法:>>>a
2020-05-15 16:31:41
196
原创 《精通scrapy网络爬虫》笔记
#《精通scrapy网络爬虫》整本书代码:https://github.com/zkzhang1986/-Scrapy-第 1 章 初识 Scrapy1.1 网络爬虫是什么略1.2 Scrapy 简介及安装 scrapy 是使用 Python 语言(基于 Twisted 框架)编写的开源网络爬虫框架。 安装:pip install scrapy (如果安装失败自行百度。依赖库有 lxml、 pyOpenSSL 、 Twisted 、pywin32) 判断是否安装成功:
2020-05-15 13:55:44
3448
原创 《精通Scrapy网络爬虫》第10章 第10.1 登录的本质
10.1 登录实质测试网站:http://example.webscraping.com/places/default/user/login登录网站后按 F12 打开开发者工具。选择 Elements 点击 form 表单10.1.1 分析:例:<form action="#" enctype="application/x-www-form-urlencoded" method="post"> <form>的 method 属性决定了 HTTP 请求的方法 (例为 POS
2020-05-15 10:50:02
258
原创 一个简单的回调函数
一个简单的回调函数回调函数就是一个参数,将这个函数作为参数传到另一个函数里面,当那个函数执行完之后,再执行传进去的这个函数。这个过程就叫做回调。def mainfun(callback): callback() print('I am main functior!')def callb(): print('I am callback function!')mainfun(callb)...
2020-05-14 11:24:14
319
原创 Faker库说明
Faker的文档Faker是一个Python软件包,可为您生成伪造数据。无论您是需要引导数据库,创建美观的XML文档,填充持久性以进行压力测试还是匿名化来自生产服务的数据,Faker都是您的理想之选。安装 pip install Faker关于初始化参数locale:为生成数据的文化选项,默认为en_US,只有使用了相关文化,才能生成相对应的随机信息(比如:名字,地址,邮编,城市,省份等)https://faker.readthedocs.io/en/master/locales/zh_CN.h
2020-05-14 09:17:39
3151
原创 mysql(1)
MySQL修改用户的密码主要有两种方法:ALTER USER 和SET PASSWORDALTER USER基本使用ALTER USER testuser IDENTIFIED BY ‘123456’;修改当前登录用户ALTER USER USER() IDENTIFIED BY ‘123456’;使密码过期ALTER USER testuser IDENTIFIED BY ‘123...
2020-03-23 10:25:12
121
原创 《精通scrapy网络爬虫》第11章 ----安装Docker 以及Splash渲染引擎
这里写自定义目录标题11.1 Splash 渲染引擎安装 docker安装 Splash11.1 Splash 渲染引擎 Splash是Scrapy官方推荐的JavaScript渲染,它是使用WebKit开发的轻量级无界面浏览器,提供基于HTTP接口的JavaScript渲染服务,支持以下功能:为用户返回经过渲染的HTML页面或页面截图。并发渲染多个页面关闭图片加载,加速渲染在页面中...
2020-03-13 10:38:24
522
原创 《精通scrapy网络爬虫》第10章
<div id="web2py_user_form"><form action="#" enctype="application/x-www-form-urlencoded" method="post"> <table> <tbody> <tr id="auth_user_email__row"> <td cl...
2020-02-28 16:46:22
172
原创 scrapy shell
scrapy shell说明scrapy shell [url|file]Interactive console for scraping the given url or file. Use ./file.html syntaxor full path for local file.常用变量(对象和函数)request最近一次下载对应的Request对象response最近一...
2020-02-27 14:25:55
89
原创 《精通scrapy网络爬虫》代码
《精通scrapy网络爬虫》代码 更新中…https://github.com/zkzhang1986/-Scrapy-
2020-02-21 11:22:36
716
原创 使用LinkExtract 提取链接及参数介绍
# 《精通 scrapy 网络爬虫》第6章 第2节(即6.2)描述提取规则# 使用LinkExtract 提取链接及参数介绍from scrapy.http import HtmlResponsefrom scrapy.linkextractors import LinkExtractorhtml1 = open('scrapyLinkExtractorTest1.html','r',en...
2020-02-19 08:55:13
1095
原创 scrapy使用Exporter导出(excel)
my_exporters.py# 以excel格式导出的Exporterfrom scrapy.exporters import BaseItemExporterimport xlwtclass ExcelItemExporter(BaseItemExporter): def __init__(self, file, **kwargs): self._config...
2020-02-18 10:01:39
640
原创 srapy_selector_css基础语法
CSS选择器表达式描述*选中所有元素E选中E元素E1,E2选中E1和E2元素E1 E2选中E1后代元素中的E2元素E1>E2选中E1子元素中的E2元素E1+E2选中E1兄弟元素中的E2元素.class选中class属性包含class的元素#ID选中id属性为ID的元素[ATTR]选中包含ATTR属性的元素...
2020-01-17 13:51:33
189
原创 scrapy_selector_xpath基础语法
# 《精通 scrapy 网络爬虫》第3章 第3节(即3.3)xpath 实例from scrapy.selector import Selectorfrom scrapy.http import HtmlResponsebody = '''<html> <head> <base href='http://example.com'/> &l...
2020-01-16 15:46:42
1081
转载 Python @函数装饰器及用法(超级详细)转
Python 内置的 3 种函数装饰器,分别是 @staticmethod、@classmethod 和 @property,其中 staticmethod、classmethod 和 property 都是 Python 的内置函数。那么,我们是否可以开发自定义的函数装饰器呢?答案是肯定的。当程序使用“@函数”(比如函数 A)装饰另一个函数(比如函数 B)时,实际上完成如下两步:1.将被修...
2019-12-18 17:14:08
607
原创 python文档阅读dir()和help()及打印输出(保存)到本地
dir()函数dir([object])object – 对象、变量、类型dir()用来查询一个类或者对象是所有属性例:关于第三方库,就需要先引入例:help()一、help()函数的作用在使用python来编写代码时,会经常使用python自带函数或模块,一些不常用的函数或是模块的用途不是很清楚,这时候就需要用到help函数来查看帮助。这里要注意下,help()函数是查看函数...
2019-12-17 10:57:30
680
3
原创 python微信图片dat转码(整理版)
环境Python 3.6.3模块os工具程序员计算器目的通过python 实现电脑版微信中图片转码(原.dat转成JPG或PNG)分析据说微信图片是用异或值加密(实际就是转码)1.先用工具打开.bat文件,但会看到一堆乱码。如下图用notepad++的话可以,通过插件以16进制打开。(怎么用notepad打开16进制点这) 16进制打开如下图再用 16进制打开JPG ...
2019-12-13 11:33:00
7494
7
原创 微信图片dat转码(初稿)
#微信图片转码#文件读f = open('750fd6eb26111238efb42714f31a85f3.dat','rb')# print(r)#文件写p = open('aa.jpg','wb')# 转码过程for now in f: # print(now) for nowByte in now: print(nowByte) ...
2019-12-12 15:55:33
908
原创 ip代理池(获取,存储,检查,接口)
ip代理池基本库:aiohttp、request、redis_py、pyquery、Flask基本模块:存储模块,获取模块(IP),检测模块,接口模块,调度模块(用于串连前面4个模块)StorageModule(存储模块)AcquisitionModule(获取模块)CheckingModule(检测模块)InterfaceModule(接口模块)SchedulingModule(调...
2019-11-26 09:34:34
748
原创 多线程简单举例
在 multiprocessing 中,通过创建一个 Process 对象然后调用它的 start() 方法来生成进程。 Process 和 threading.Thread API 相同。 一个简单的多进程程序示例#测试多线程from multiprocessing import Processimport timeimport osdef fun1(): print('fu...
2019-11-22 16:31:19
182
转载 bilibili滑动验证
# =============================================# --*-- coding: utf-8 --*--# @Time : 2019-10-21# @Author : TRHX# @Blog : www.itrhx.com# @CSDN : https://blog.csdn.net/qq_36759224# @FileN...
2019-11-01 17:35:53
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人