python
学习,记录,分享
码点
这个作者很懒,什么都没留下…
展开
-
Python 在PyCharm中添加.gitignore文件
在协同开发时,各人使用的开发工具和版本不同,在上传代码时就需要添加过滤文件,不必要的文件禁止上传,在pycharm中操作步骤:1.安装.ignore插件在pycharm中,File->Setting2.下载.ignore插件3.在项目中添加’.ignore’文件右键项目,New->.ignore file->.gitignore file (Git)4.添加过滤文件##ignore this file##/target//.idea//.settings//.原创 2022-03-26 11:31:12 · 8553 阅读 · 0 评论 -
Python 四.scrapy多页爬取(分布式爬虫打造搜索引擎)
1.python使用scrapy框架进行多页爬取,新手建议先看上一篇:https://blog.csdn.net/qq_31939617/article/details/123575456?spm=1001.2014.3001.5501原创 2022-03-19 23:53:48 · 733 阅读 · 0 评论 -
Python 三.创建第一个scrapy爬虫项目(分布式爬虫打造搜索引擎)
1.安装pywin32打开cmd窗口pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pywin32 2.安装Twisted网络数据处理的集成包pip install -i https://pypi.tuna.tsinghua.edu.cn/simple Twisted3.安装scrapypip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy4.查看scra原创 2022-03-18 16:24:09 · 1861 阅读 · 0 评论 -
Python 利用pandas 获取Excel重复记录
在EXCEL处理大量记录的时候,用EXCEL排序处理比较费劲,EXCEL程序动不动就无响应了,用pands处理:# We will use data structures and data analysis tools provided in Pandas libraryimport pandas as pd# Import retail sales data from an Excel Workbook into a data framepath = 'D:/python/python_work原创 2021-08-10 10:37:42 · 1145 阅读 · 0 评论 -
Python 爬取校花网资源、批量下载图片,scrapy 框架 入门经典
爬取校花网资源、批量下载图片,scrapy 框架 入门经典project1.前面的配置环境,就不说了创建项目:进入工作目录,cmd,执行命令,scrapy startproject XiaoHua2.项目创建好了,进入项目下,创建爬虫3.用PyCharm打开项目,目录结构:5.我们先运行一次:200,访问是成功的...原创 2018-12-29 17:04:29 · 1137 阅读 · 0 评论 -
Python 爬豆瓣电影 Top 250图片及名称,下载到本地,requests+beautifulsoup框架
源码:from urllib import requestimport xlwt as xlwtfrom bs4 import BeautifulSoupimport osimport re# 新建文件夹curPath = os.getcwd()tempPath = 'douban'targetPath = curPath+os.path.sep+tempPathif ...原创 2018-12-17 18:21:08 · 1583 阅读 · 0 评论 -
Python 爬取迷你MP4电影网,电影名称保存到本地,Requests+lxml框架
先上图:movie.pyimport requestsfrom lxml import etreefor page in range(10): url = "http://www.minimp4.com/movie/?page={}".format(page) r = requests.get(url) # print(r) # print(r.tex...原创 2018-12-30 10:05:09 · 2572 阅读 · 0 评论 -
Python 爬天天基金,简单实例xpath,Requests+lxml框架
tiantian.pyimport urllib.requestfrom lxml import etreeurl = "http://fund.eastmoney.com/002624.html"response = urllib.request.urlopen(url).read()selector = etree.HTML(response)xpathselector = ...原创 2018-12-30 10:23:07 · 1011 阅读 · 0 评论 -
Python 更新所有过期的库
查询所有过期库pip list --outdated更新所有过期的库import pipfrom subprocess import callfrom pip._internal.utils.misc import get_installed_distributionsfor dist in get_installed_distributions(): call("pip ...原创 2018-12-30 16:33:33 · 2681 阅读 · 0 评论 -
Python 简单的爬图片,下载到本地,requests+beautifulsoup框架
先上图:源码:from urllib import requestfrom bs4 import BeautifulSoupimport os# 新建文件夹curPath = os.getcwd()temPath = 'tu2345'targetPath = curPath+os.path.sep+temPathif not os.path.exists(targetPa...原创 2018-12-14 17:05:30 · 1660 阅读 · 0 评论 -
Python 爬豆瓣电影 Top 250,Scrapy框架
使用是scrapy爬取豆瓣电影TOP250榜单上的电影信息,环境配置就不说了。1.在工作空间下cmd,弹出命令窗口2.创建项目,scrapy startproject douban2503.项目创建成功了4.用pycharm打开项目5.爬取序号、电影名称、导演、主演、在items.py中输入代码:6.在spiders文件夹下新建一个douban.pyurl是我们要爬取的...原创 2018-12-20 11:27:35 · 1391 阅读 · 0 评论 -
Python Scrapy创建第一个项目
Python-Scrapy创建第一个项目 <div class="postBody"> <div id="cnblogs_post_body" class="blogpos原创 2022-03-20 11:10:41 · 1170 阅读 · 0 评论 -
Python:三.Python安装,PyCharm安装,第一个Python程序
**1.Python安装** 因为Python是跨平台的,它可以运行在Windows、Mac和各种Linux/Unix系统上。在Windows上写Python程序,放到Linux上也是能够运行的。要开始学习Python编程,首先就得把Python安装到你的电脑里。安装后,你会得到Python解释器(就是负责运行Python程序的),一个命令行交互环境,还有一个简单的集成开发环境。...原创 2018-04-18 17:51:26 · 1201 阅读 · 0 评论 -
Python:一.Python简介
Python是著名的“龟叔”Guido van Rossum在1989年圣诞节期间,为了打发无聊的圣诞节而编写的一个编程语言。现在,全世界差不多有600多种编程语言,但流行的编程语言也就那么20来种。如果你听说过TIOBE排行榜,你就能知道编程语言的大致流行程度。这是最近10年最常用的10种编程语言的变化图:总的来说,这几种编程语言各有千秋。C语言是可以用来编写操作系统的贴近硬件的语言...原创 2018-04-18 17:12:28 · 970 阅读 · 0 评论 -
Python:四.Python基础
Python是一种计算机编程语言。计算机编程语言和我们日常使用的自然语言有所不同,最大的区别就是,自然语言在不同的语境下有不同的理解,而计算机要根据编程语言执行任务,就必须保证编程语言写出的程序决不能有歧义,所以,任何一种编程语言都有自己的一套语法,编译器或者解释器就是负责把符合语法的程序代码转换成CPU能够执行的机器码,然后执行。Python也不例外。Python的语法比较简单,采用缩进方式...原创 2018-04-19 22:49:22 · 940 阅读 · 0 评论 -
Python:四.Python基础,数据类型和变量(一)
计算机顾名思义就是可以做数学计算的机器,因此,计算机程序理所当然地可以处理各种数值。但是,计算机能处理的远不止数值,还可以处理文本、图形、音频、视频、网页等各种各样的数据,不同的数据,需要定义不同的数据类型。在Python中,能够直接处理的数据类型有以下几种: 整数、浮点数、字符串、布尔值、空值 整数Python可以处理任意大小的整数,当然包括负整数,在程序中的表示方法和数学上的写法一模...原创 2018-04-19 23:01:25 · 952 阅读 · 0 评论 -
Python 一.开发环境搭建(分布式爬虫打造搜索引擎)
Python 一开发环境搭建(分布式爬虫打造搜索引擎)原创 2018-08-26 20:50:52 · 4553 阅读 · 0 评论 -
Python 二.基础知识(分布式爬虫打造搜索引擎)
1.技术选型 scrapy vs requests+beautifulsoup原创 2018-09-09 16:04:26 · 1163 阅读 · 0 评论 -
python:二.Python教程
这是小白的Python新手教程,具有如下特点: 中文,免费,零起点,完整示例,基于最新的Python 3版本。Python是一种计算机程序设计语言。你可能已经听说过很多种流行的编程语言,比如非常难学的C语言,非常流行的Java语言,适合初学者的Basic语言,适合网页编程的JavaScript语言等等。那Python是一种什么语言?首先,我们普及一下编程语言的基础知识。用任何编程语言...原创 2018-04-18 17:16:55 · 1392 阅读 · 0 评论