- 博客(24)
- 收藏
- 关注
RSS订阅转载 爬虫[07]
任务 模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容 import requests, json, re, random,time from bs4 import BeautifulSoup from selenium import webdriver from lxml import etree class getUrl(object): """docstring for g...
2019-03-07 21:33:55
161
转载 爬虫[05]
Message: ‘chromedriver’ executable needs to be in PATH的处理 下载与chrome对应版本的chromedriver，解压后放入chrome的文件夹下，并将该路径添加到环境变量。 如：C:\Program Files (x86)\Google\Chrome\Application 添加环境变量后仍然没有用的情况下，将chromedrive...
2019-03-05 20:48:21
137
转载 爬虫[04]
【Task4 学习xpath 】 学习xpath，使用lxml+xpath提取内容。 使用xpath提取丁香园论坛的回复内容。 from lxml import etree import requests url = "http://www.dxy.cn/bbs/thread/626626#626626" broswer = requests.session() re = requests.ge...
2019-03-04 20:44:04
130
转载 爬虫3
丁香园用户评论抓取 导入必要的库 import urllib.request from bs4 import BeautifulSoup as bs def dxy_spider(): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM...
2019-03-03 20:35:25
127
转载 爬虫[02]
豆瓣电影TOP250数据爬取 1.lxml requests 方法 来源：https://blog.csdn.net/m0_37788308/article/details/80378042 from lxml import etree import requests import time # 通过循环爬取top250数据 for a in range(10): url = 'https...
2019-03-02 16:17:21
163
原创 爬虫[01]
前期准备 安装必要的库 pip install urllib3 lxml requests beautifulsoup4 学习 get & post 方法 描述 GET 请求指定的页面信息，并返回实体主体。 POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 GET...
2019-03-01 17:45:46
142
原创 使用@property
使用@property 为了实现将分数设定一个范围值，可以加入@property的方法，类似于之前的装饰器的作用。 class Student(object): def get_score(self): return self._score @property本身又创建了另一个装饰器@score.setter，负责把一个setter方法变成属性赋值，于是，我们就拥有一...
2019-02-27 14:37:05
157
转载 廖雪峰[010]
模块 #!/usr/bin/env python3 # -*- coding: utf-8 -*- ' a test module ' __author__ = 'Michael Liao' import sys def test(): args = sys.argv if len(args)==1: print('Hello, world!') e...
2019-02-27 14:31:11
107
原创 廖雪峰[009]
装饰器 (@语法糖) 作用：在不改变func2的前提下，给其添加更多的功能。 普通装饰器函数 代码思路： def func1(func): def add_func(): # 在这里添加功能 return func() # func 函数名 # func() 函数调用 return add_func @func1 def fun2(): # 原来的功能 func2(...
2019-02-16 20:53:14
481
原创 廖雪峰[008]
返回函数 函数作为返回值 函数不仅可以作为函数参数，还可以作为函数返回结果 def pro1(c,f): def pro2(): return f(c) return pro2 #调用pro1函数时，返回的是pro2函数对象 >>>a = pro1(-3,abs) #需要对a调用才能得到结果 >>>a() 闭包 如果在一...
2019-02-14 20:16:54
134
转载 廖雪峰[07]
filter Python内建的filter()函数用于过滤序列。 和map()类似，filter()也接收一个函数和一个序列。和map()不同的是，filter()把传入的函数依次作用于每个元素，然后根据返回值是True还是False决定保留还是丢弃该元素。 def is_odd(n): return n % 2 == 1 list(filter(is_odd, [1, 2, 4, 5...
2019-02-13 19:02:50
114
原创 廖雪峰[006]
map/reduce map：实现函数和Iterable的结合 举例：求平方 >>> def f(x): ... return x * x ... >>> r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9]) >>&amp
2019-02-12 19:20:05
93
转载 廖雪峰[005]
列表生成器 简单的列表生成： >>> list(range(1, 11)) [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 带循环的列表生成： >>> [x * x for x in range(1, 11)] [1, 4, 9, 16, 25, 36, 49, 64, 81, 100] 带循环加判断的列表生成
2019-02-12 19:19:54
95
原创 廖雪峰python[004]
本章内容：迭代 for ... in ... 可循环判断 通过collections模块的Iterable类型判断: >>> from collections import Iterable >>> isinstance('abc', Iterable) # str是否可迭代 True >>> isinstance([1,2,3], Itera...
2019-02-03 10:53:25
102
原创 廖雪峰 Python[003]
切片练习 利用切片操作，实现一个trim()函数，去除字符串首尾的空格，注意不要调用str的strip()方法： # -*- coding: utf-8 -*- def trim(s): if s[:1] != ' ' and s[-1:] != ' ': return s elif s[:1] == ' ': return trim(s[1:]) ...
2019-02-02 20:42:00
102
原创 LeetCode[007]
题目：最接近的三数之和 给定一个包括 n 个整数的数组 nums 和 一个目标值 target。找出 nums 中的三个整数，使得它们的和与 target 最接近。返回这三个数的和。假定每组输入只存在唯一答案。 例如，给定数组 nums = [-1，2，1，-4], 和 target = 1. 与 target 最接近的三个数的和为 2. (-1 + 2 + 1 = 2). 初步尝试： cla...
2019-02-02 10:59:02
120
原创 LeetCode[006]
题目：三数之和 给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，ca，b，ca，b，c ， 使得 a+b+c=0？a + b + c = 0 ？a+b+c=0？找出所有满足条件且不重复的三元组。 注意： 答案中不可以包含重复的三元组。 例如, 给定数组 nums = [-1, 0, 1, 2, -1, -4]， 满足要求的三元组集合为： [ [-1, 0...
2019-02-01 14:52:56
144
原创 廖雪峰Python3[02]
函数：递归函数 递归定义： 递归是一种计算过程，如果其中每一步都要用到前一步或前几步的结果，称为递归的。用递归过程定义的函数，称为递归函数，例如连加、连乘及阶乘等。凡是递归的函数，都是可计算的，即能行的。 递归函数定义： 在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。 举例： 阶乘 def fact(n): if n==1: r...
2019-02-01 12:44:28
103
原创 LeetCode[005]
题目： 最长公共前缀 如果不存在公共前缀，返回空字符串 “”。 示例 1: 输入: [“flower”,“flow”,“flight”] 输出: “fl” 示例 2: 输入: [“dog”,“racecar”,“car”] 输出: “” 解释: 输入不存在公共前缀。 说明: 所有输入只包含小写字母 a-z 。 方法一： enumerate class Solution(object): ...
2019-01-31 10:21:59
388
原创 廖雪峰python自学1
函数的参数 这一章主要讲了位置参数，默认参数等。 在Python中定义函数，可以用必选参数、默认参数、可变参数、关键字参数和命名关键字参数，这5种参数都可以组合使用。但是请注意，参数定义的顺序必须是：必选参数、默认参数、可变参数、命名关键字参数和关键字参数。 练习 以下函数允许计算两个数的乘积，请稍加改造，变成可接收一个或多个数并计算乘积： 这道题我一开始删除了x项，导致一直通过不了。后来...
2019-01-30 23:04:36
212
原创 LeetCode[004]
题目：字符串转换整数 (atoi) 请你来实现一个 atoi 函数，使其能将字符串转换成整数。 首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。 当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假如第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。 该字符串除了有效的整数部分之后也可...
2019-01-30 12:25:07
202
转载 LeetCode[003]
LeetCode： 最长回文子串 题目： 给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。 示例 1： 输入: “babad” 输出: “bab” 注意: “aba” 也是一个有效答案。 初步尝试：暴力解法 基本思路： 全部循环得到所有可能的回文子串并储存。 判断最长的回文后输出 这道题我完全不知道怎么下手，参考原文地址 class Solution:...
2019-01-29 14:44:11
185
原创 LeetCode[002]
题目：寻找两个有序数组的中位数 给定两个大小为 m 和 n 的有序数组 nums1 和 nums2。请你找出这两个有序数组的中位数，并且要求算法的时间复杂度为 O(log(m + n))。你可以假设 nums1 和 nums2 不会同时为空。 示例： nums1 = [1, 3] nums2 = [2] 则中位数是 2.0 思路： 将两个数组合并后排序，如果是偶数就选两个中位数除以2，如果...
2019-01-27 22:26:31
171
原创 LeetCode[001]
LeetCode[001] 希望自己可以坚持下去 class Solution: def twoSum(self, nums, target): """ :type nums: List[int] :type target: int :rtype: List[int] "&
2019-01-26 20:37:47
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人