learn_is_happy-CSDN博客

原创《利用python进行数据分析》学习 numpy库

《利用python进行数据分析》学习 numpy库一、基本概念 Numpy是高性能科学计算和数据分析的基础包，功能如下： 1、ndarray,一个具有矢量算数运算和复杂广播能力的快速且节省空间的多维数组。 2、用于对整组数据进行快速运算的标准数学函数（无需编写循环） 3、用于读写磁盘数据的工具以及用于操作内存映射文件的工具 4、线性代数、随机数生成以及傅里叶变换功能对于大部分数据分析应

2017-12-27 20:18:07 592

原创 python 爬取排行榜小说和文本

# -*- coding: utf-8 -*-import scrapyimport syssys.path.append("D:\\pycodes\\novel")class XiaoshuoSpider(scrapy.Spider): name = 'xiaoshuo' start_urls = ['https://www.qu.la/paihangbang/']

2017-12-26 11:18:11 1314

原创 python 爬虫scrapy框架自建IP代理池

1、http://www.xicidaili.com/wt 国内免费代理网站2、利用scrapy爬取该网站内的IP地址与端口，写入txt文档3、编写脚本测试txt文档中的ip地址与端口是否可用4、将可用ip地址与端口输入txt文档———————————————————————— 1、编写Item类由于我们只需要ip地址与端口，所以只写一个属性即可# -*- coding: utf-8 -*-

2017-12-25 15:51:51 3456

原创 python爬虫 scrapy框架学习

python爬虫 scrapy框架学习一、步骤：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容1、新建项目 scrapy startproject filename baidu.com2、明确目标在Scrapy中，i

2017-12-19 14:08:32 441

原创 python学习爬取豆瓣电影名称及评分

import requestsfrom bs4 import BeautifulSoupimport bs4import redef getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding

2017-12-16 07:42:59 3068

原创 python 爬虫豆瓣韩国电影

import requestsfrom bs4 import BeautifulSoupimport bs4import redef getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding

2017-12-16 00:05:12 489

原创 python 爬虫大众点评美食排名

import requestsfrom bs4 import BeautifulSoupimport redef getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return

2017-12-15 20:34:13 2382

原创 python 爬虫爬取大众点评11月之星

import requestsfrom bs4 import BeautifulSoupimport redef getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return

2017-12-14 23:05:52 558

原创 python爬虫学习之定向爬取股票信息

一、功能描述目标：获取上交所和深交所所有股票的名称和交易信息输出：保存到文件中技术路线：requests-bs4-re二、选取原则：股票信息静态存在于HTML页面中，非js代码生成，没有robots协议限制三、程序的结构设计 1、从东方财富网获取股票列表 2、根据股票列表逐个到百度股票获取个股信息 3、将结果存储到文件四、import requestsfrom bs4

2017-12-12 21:28:38 2369 2

原创 python爬虫学习之定向爬取淘宝商品价格

python爬虫学习之定向爬取淘宝商品价格import requestsimport redef getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_s

2017-12-11 16:26:19 3726 3

原创 WS07-Re(正则表达式)库入门

1、正则表达式是用来简洁表达一组字符串的表达式正则表达式是一种通用的字符串表达框架正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具正则表达式可以用来判断某字符串的特征归属2、 . 表示任何单个字符 [ ] 字符集，对单个字符给出取值范围 [abc]表示a、b、c，[a‐z]表示a到z单个字符 [^ ] 非字符集，对单个字符给出排除范围 [^abc]表示非a或b或c的单个字

2017-12-11 16:21:51 175

原创 python爬虫学习之定向爬取中国大学排名

python爬虫学习之定向爬取中国大学排名输入：大学url链接输出：大学排名的屏幕输出（排名，名称，所在省份）技术路线：requests-bs4 定向爬虫，不扩展获取1、爬取可行性分析 2、程序结构设计步骤1：从网络上获取大学排名网页内容getHTMLText() 步骤2：提取网页内容中信息到合适的数据结构fillUnivList() 步骤3：利用数据结构展示并输出结果prin

2017-12-10 21:32:53 1233

原创 python爬虫学习信息标记与提取方法

python爬虫学习信息标记与提取方法1、.find_all(name, attrs, recursive, string, **kwargs) ∙ name : 对标签名称的检索字符串 attrs: 对标签属性值的检索字符串，可标注属性检索 recursive: 是否对子孙全部检索，默认True string: <>…

2017-12-10 21:13:50 288

原创 python爬虫学习

python爬虫学习一、Beautiful Soup库1、引用 from bs4 import BeautifulSoupfrom bs4 import BeautifulSoupsoup = BeautifulSoup('<p>data</p>', 'html.parser')2、BeautifulSoup类的基本元素Tag 标签，最基本的信息组织单元，分别用<>和for child in s

2017-12-10 21:05:09 204

原创输出n范围内的素数（质数）

list1=[]n=int(input("输入一个整数:"))for i in range(2,n+1): for j in range(2,i): if i%j==0: break else: list1.append(i)print (list1)

2017-12-10 10:17:37 504

原创 map,filter函数，评价统计

1、将列表中字符串划成数字利用map函数 x=[“1”,”2”,”3”] y=list(map(int,x)) y=[1,2,3]2、filter函数filter(function, sequence)：对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（取决于sequence的类型）返回：x=[]

2017-12-10 00:01:10 222

原创 python 用turtle库绘制时钟

from turtle import *from datetime import *def Skip(step): penup() forward(step) pendown()def mkHand(name, length): #注册Turtle形状，建立表针Turtle reset() Skip(-length*0.1) begin_po

2017-12-06 09:57:05 7644

转载中国大学 MOOC 课程《Python 语言程序设计》第七周课上练习

中国大学 MOOC 课程《Python 语言程序设计》第七周课上练习1、铅球运行轨迹from math import pi,sin,cos,radiansdef main(): angle,vel,h0,time = getInputs() xpos,ypos=0,h0 xvel,yvel=getXYComponents(vel,angle) while ypos

2017-12-06 09:16:54 1166

原创中国大学 MOOC 课程《Python 语言程序设计》第六周课后习题

1、open(“filename”,”rb”).read()与open(“filename”,”r”).read()的区别，前者读取二进制码文件，后者读ASCII码文件，文本文件一般以ASCII码编写。2、split函数split()默认的话包含所有空字符，“　”　＼ｎ　＼ｔ等等 split(” “)识别 “ ” 没有的话默认在一块file=open("name.txt","r")line

2017-12-04 20:43:11 2940

转载统计英文文章中出现最多的词汇，并用turtle函数绘制柱状图

统计英文文章中出现最多的词汇，并用turtle函数绘制柱状图import turtle##全局变量###词频排列显示个数count = 10#单词频率数组-作为y轴数据data = []#单词数组-作为x轴数据words = []#y轴显示放大倍数-可以根据词频数量进行调节yScale = 6#x轴显示放大倍数-可以根据count数量进行调节xScale = 30########

2017-12-03 22:58:15 929

转载 #利用字符串和列表将两个通讯录文本合并为一个文本

#利用字符串和列表将两个通讯录文本合并为一个文本def main(): ftele1=open('name.txt','rb') ftele2=open('email.txt','rb') ftele1.readline()#跳过第一行 ftele2.readline() lines1 = ftele1.readlines() lines2 = fte

2017-12-03 20:16:32 528

转载中国大学 MOOC 课程《Python 语言程序设计》第六周

中国大学 MOOC 课程《Python 语言程序设计》第六周一、lambda函数 1，lambda的一般形式是关键字lambda后面跟一个或多个参数，紧跟一个冒号，以后是一个表达式。lambda是一个表达式而不是一个语句。它能够出现在Python语法不允许def出现的地方。作为表达式，lambda返回一个值（即一个新的函数）。lambda用来编写简单的函数，而def用来处理更强大的任务。 [p

2017-12-03 19:30:47 1744 1

原创中国大学 MOOC 课程《Python 语言程序设计》第五周课后习题

from turtle import *date=input("请输入日期:")def zero(): forward(50) right(90) forward(100) right(90) forward(50) right(90) forward(100) right(90)def one(): penup()

2017-12-03 10:08:47 2912

原创中国大学 MOOC 课程《Python 语言程序设计》第五周绘制树

中国大学 MOOC 课程《Python 语言程序设计》第五周绘制树# drawtree.pyfrom turtle import Turtle, mainloopdef tree(plist, l, a, f): """ plist is list of pens l is length of branch a is half of the angle between 2

2017-12-02 23:00:28 471

原创中国大学 MOOC 课程《Python 语言程序设计》课后练习（第 4 周）

中国大学 MOOC 课程《Python 语言程序设计》课后练习（第 4 周）weight=input("请输入你的体重:")height=input("请输入你的身高:")BMI=float(weight)/(float(height)**2)x=["国内标准","国际标准"]def china(): if BMI < 18.5: print("你的BMI={0:

2017-12-02 22:55:18 3539

原创中国大学 MOOC 课程《Python 语言程序设计》课后练习（第 2 周）

中国大学 MOOC 课程《Python 语言程序设计》课后练习（第 2 周）1、蟒蛇程序绘制：import turtledef drawSnake(rad,angle,len,neckrad): for i in range(len): turtle.circle(rad,angle) #朝左的半径，弧度值 turtle.circle(-rad,angl

2017-12-02 20:29:49 2702

原创中国大学MOOC课程《Python语言程序设计》课后练习第一周

中国大学MOOC课程《Python语言程序设计》课后练习第一周1、字符串拼接 python从2.6版本后增加了format函数，用来代替%s,%r等格式化字符串：# -*- coding: utf-8 -*-str1= input("请输入一个人的名字:")str2= input("请输入一个国家的名字：")print ("世界这么大，{}想去{}看看。".format(str1,str2)

2017-12-01 23:03:39 9745

learn_is_happy的博客