Perhaps#-CSDN博客

原创 scrapy爬取唯品会运动鞋信息并进行简单的数据处理和分析

唯品会爬虫一、环境准备二、问题分析三、spider三、item四、setting五、pipelines六、使用jupyter进行简单的数据处理和分析一、环境准备1、python3.8.3pycharm创建项目前先安装管理虚拟环境的第三方包pip install scrapy virtualenv -i https://pypi.douban.com/simple2、找一个地方创建文件夹，用于保存项目3、然后进入目录4、继续创建目录并进入目录5、目录栏输入cmd打开黑窗口

2021-05-10 15:33:07 2639 3

原创 scrapy爬取中国高考志愿填报网站各大学信息

中国高考志愿填报网站爬虫一、环境准备二、问题分析三、spider三、item四、setting五、pipelines一、环境准备python3.8.3pycharm项目所需第三方包pip install scrapy fake-useragent requests virtualenv -i https://pypi.douban.com/simple1.1创建虚拟环境切换到指定目录创建virtualenv .venv创建完记得激活虚拟环境1.2创建项目scrapy startp

2021-04-29 14:32:58 2636 3

原创 scrapy爬取京东笔记本电脑数据并进行简单处理和分析

京东爬虫一、环境准备二、问题分析三、spider三、item四、setting五、pipelines六、middlewares七、使用jupyter进行简单的处理和分析一、环境准备python3.8.3pycharm项目所需第三方包pip install scrapy fake-useragent requests selenium virtualenv -i https://pypi.douban.com/simple1.1创建虚拟环境切换到指定目录创建virtualenv .venv

2021-04-13 18:12:28 3751 11

原创使用scrapy框架从爬取安居客数据到分析

一、爬取数据使用scrapy，不多说，上码1、spiderimport scrapyfrom lianjia.items import anjukeItemclass AnjukeSpider(scrapy.Spider): name = 'anjuke' allowed_domains = ['anjuke.com', 'shenzhen.anjuke.com'] start_urls = ['https://shenzhen.anjuke.com/sale/?p

2021-04-07 18:49:41 1445 5

原创多线程无队列、有队列、优化队列爬取斗图啦图片

爬取斗图啦网站的图片一、多线程无队列爬取图片二、多线程加队列爬取图片三、多线程加队列优化下载图片一、多线程无队列爬取图片import osimport reimport threadingfrom urllib import requestimport requestsdef pa_chong(): # 实现分页爬取 for i in range(4,6): url = f'https://www.doutula.com/photo/list/?page={i

2020-09-09 20:46:49 144

原创爬取www.piaofang.biz电影信息并存储到数据库

环境：python3.7import reimport requestsimport pymysqlheaders = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Mobile Safari/537.36'}req = requests.get('http://www.piaofang

2020-09-09 19:46:19 1384

原创隐藏selenium中的window.navigator.webdriver

方法一driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """})方法二from selenium import webdriveroptions = webdriver.ChromeOptions()

2021-05-14 11:01:17 448

原创 python各个模块以及学习文档链接

1、chorm-webdriver：https://npm.taobao.org/mirrors/chromedriver

2021-05-12 18:25:19 323

原创实现qq空间自动化点赞

import timefrom selenium import webdriverdriver = webdriver.Chrome()driver.maximize_window()driver.get('https://i.qq.com/')driver.switch_to.frame('login_frame')time.sleep(2)# 点击账号密码登录driver.find_element_by_id('switcher_plogin').click()time.sle

2020-11-19 19:27:45 2554 1

原创 python简单的四种排序算法

插入排序def insert_sort(arr): length = len(arr) for i in range(1, length): loop_index = i while loop_index >= 0 and arr[loop_index] < arr[loop_index - 1]: arr[loop_index], arr[loop_index - 1] = arr[loop_index - 1], ar

2020-10-10 20:40:18 129

原创 Python代码实现服务端和客户端

服务端和客户端一、服务端二、客户端一、服务端import socket# 创建服务器server = socket.socket()# 绑定地址和端口server.bind(('127.0.0.1',9001))# 设置监听server.listen(3)# 等待连接pre, addr = server.accept()# 接收数据data = pre.recv(1024)print(data)# 发送数据send_data = 'Hello'+ data.deco

2020-09-09 21:10:53 1889

原创 python3中类继承采用广度优先

在python3中类的继承采用广度优先# 在python3中类的继承采用广度优先class A(): def run(self): print('A')class B(A): def run(self): super().run() print('B')class C(A): def run(self): super().run() print('C')class D(B,C):

2020-08-27 18:59:44 343

原创 Python_装饰器

装饰器一、装饰器二、不带参数的函数装饰器三、带参数的函数装饰器四、不带参数的类装饰器五、带参数的类装饰器环境：python3.7一、装饰器1.1构成装饰器的三个条件函数内嵌套函数外部函数返回内部函数内部函数体的函数作为外部函数的变量二、不带参数的函数装饰器import timedef outer(f): def inner(): # 计算程序执行的时间 start = time.time() f() end

2020-08-26 19:20:08 109

原创 python中with方法用类方法实现

class B: def __init__(self,filename,read): self.fp = open(filename,read) def __enter__(self): return self.fp def __exit__(self, exc_type, exc_val, exc_tb): self.fp.close()with B('b.txt','r') as fp: print(fp.read())

2020-08-26 19:19:23 322

原创 python中的线程和进程

线程与进程一、线程1.1 线程的定义1.2无参数的线程1.3 带参数的线程1.4 守护线程1.5 多线程之间的数据共享1.5 线程冲突1.6 解决线程冲突二、进程2.1 进程定义2.2 无参数的进程2.3 带参数的进程2.4 守护进程2.5 多进程之间数据不共享2.6 解决数据不共享的三种方法2.6.1 manage方法2.6.2 Pipe方法2.6.3 Queue方法2.7 进程池环境：python3.7pip install multiprocessing -i https://pypi.doub

2020-08-26 19:18:46 332

原创数据分析之scipy处理图片

这里写目录标题一、scipy处理二进制文件二、scipy处理音频文件三、PIL处理图片四、scipy处理图片环境：python3.7pip install numpy -i https://pypi.douban.com/simplepip install pandas -i https://pypi.douban.com/simplepip install scipy -i https://pypi.douban.com/simplepip install PIL -i https://pyp

2020-08-26 19:18:03 873

原创数据分析之快速傅里叶变换处理图片

fourier-process-image一、快速傅里叶对图片进行消噪环境：python3.7pip install numpy -i https://pypi.douban.com/simplepip install pandas -i https://pypi.douban.com/simplepip install scipy -i https://pypi.douban.com/simple一、快速傅里叶对图片进行消噪import numpy as npimport pandas

2020-08-23 23:09:24 1161

原创数据分析之matplotilib生成图形，直方图、柱状图、散布图......

matplotilib一、线形图二、柱状图环境：python3.7pip install numpy -i https://pypi.douban.com/simplepip install pandas -i https://pypi.douban.com/simple一、线形图import numpy as npfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt# 线型图s = Series(dat

2020-08-23 22:49:53 666

原创数据分析之数据加载data_load

数据加载环境：python3.7pip install numpy -i https://pypi.douban.com/simplepip install pandas -i https://pypi.douban.com/simple

2020-08-23 22:04:02 471

原创数据分析之数据处理

Data_process一、删除重复的行二、映射2.1 替换元素2.2 新增行列2.3 替换索引三、异常值检测四、分组聚合环境：python3.7pip install numpy -i https://pypi.douban.com/simplepip install pandas -i https://pypi.douban.com/simple一、删除重复的行1.1查询重复的行：duplicated()删除重复的行：drop_duplicates()import numpy as

2020-08-23 17:29:46 800

原创数据分析之pandas-numpy-append三种方式的连接

numpy、append、pandas一、numpy二、append三、pandas环境：python3.7双剑客：pip install numpy，pip install pandas一、numpy1.1numpy连接：np.concatenate(),np.vstack(),np.hstackimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom pandas import Series,Da

2020-08-23 00:56:00 479

原创数据分析之pandas_Series AND pandas_DataFrame

pandas一、series1.1 Series创建：1.2 Series索引1.2.1 Series显式索引1.2.2 Series隐式索引1.3 Series切片1.3.1 Series显式切片1.3.1 Series隐式切片1.4 Series运算二、DataFrame2.1 DataFrame创建2.2 DataFrame索引2.2.1 DataFrame显式索引2.2.1 DataFrame隐式索引2.3 DataFrame切片2.3.1 DataFrame显式切片2.3.1 DataFrame隐

2020-08-21 00:54:54 595

原创 web开发常用四个框架下载地址

1Bootstrap地址导入:<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/bootstrap@3.3.7/dist/css/bootstrap.min.css" integrity="sha384-BVYiiSIFeK1dGmJRAkycuHAHRg32OmUcww7on3RYdg4Va+PmSTsz/K68vbdEjh4u" crossori

2020-08-20 22:58:36 484

原创 Vue_框架入门级别

一、导入方式一：导入包<script src="js/vue.js" type="text/javascript" charset="utf-8"></script>方式二：导入链接<script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></script>二、常用方法mmvm：v - if：判断v - on:click：点击事件v - for：循环<!DOCTYPE

2020-08-20 21:08:22 210

原创 JQuery.JS_框架常用方法

JQuery一、基本语法二、选择器三、属性四、文档处理五、css六、事件七、动画八、Ajax一、基本语法导入导入后可以用英文输入法$<script src="js/jquery.min.js" type="text/javascript" charset="utf-8"></script>二、选择器2.1根据匹配的类匹配元素：$(".select1")<!DOCTYPE html><html> <head> <met

2020-08-20 21:06:46 619

原创 Linux_Nginx—simple to use

Nginx一、下载Nginx二、配置三、简单部署一、下载Nginx1.1环境：Linux Centos7.7、下载：yum install Nginx二、配置2.1启动Nginx：systemctl start nginx.service查看是否启动：ps -aux|grep nginx-logo.png启动nginx所访问的位置：cd /usr/share/nginx/html，从浏览器访问时默认访问index.html文件查看配置：cd /etc/nginx/、vim nginx.

2020-08-16 14:25:37 137

原创 Linux_Centos7.7_Mysql_install

一、方式一，centos7.7下安装mysql1.1 去官网下载仓库（官方推荐安装方式）1.2 修改安装配置：vim /etc/yum.repos.d/mysql-community.repo将mysql8.0下的enabled=1修改为enabled=01.3 将以下内容放到[mysql57-community]name=MySQL 5.7 Community Serverbaseurl=http://repo.mysql.com/yum/mysql-5.7-community/

2020-08-11 23:09:15 109

原创 HTML5_元素audio、Video与scores

一、audioaudio元素：定义音频controls属性：该属性，会向用户显示控件，如播放按钮。loop属性：重复播放。muted属性：静音。<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> <style type="text/css"> #name{ height: 50px; width

2020-08-11 19:54:41 153

原创 CSS_基础新手篇

Css一、css定义二、css语法三、三样式四、选择器五、Css的核心属性六、CSS的浮动七、文本属性八、背景图片位置设置一、css定义1.1css：层叠样式表二、css语法2.1选择{声明，属性}选择{属性:属性值;属性:属性值…}三、三样式3.1内联样式表使用方法：在div标签内直接定义属性stype={属性:属性值;属性:属性值…}<!DOCTYPE html><html> <head> <meta charset="ut

2020-08-11 13:20:33 414

原创 Python_类的类方法和静态方法

一、类方法1、可以使用类和对象调用，但是建议使用类来调用，可以不创建对象，节省内存。2、可以使用类属性和其他方法，但是不能使用对象属性和成员方法和私有方法。3、一般用在功能比较单独，和类中其他属性和方法无关的情况下。二、静态方法1、可以使用类和对象调用，但是建议使用类来调用，可以不创建对象，节省内存。2、不可以使用对象属性和成员方法和私有方法，一般也不要类属性和类方法。3、就是一个非常普通的函数，只是写在类里面。class Animal(): def __init__(self,na

2020-08-11 01:13:06 180

原创 python_基础新手篇

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2020-08-08 16:43:54 217

空空如也

空空如也