罚酒饮得-CSDN博客

原创 python-ip代理池

import requestsfrom lxml import etreeimport timedef get_all(f): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36' } for s in range(1, 11):.

2020-10-04 20:33:23 237

原创多线程爬虫案例

1.目标网站：https://www.1point3acres.com/bbs/forum-28-1.html此处开始的若干页2.首先创建两个队列，一个页面队列和一个用于I/O的队列。顺便创建个锁，防止写的时候出问题page_queue = Queue()joke_queue = Queue()gLock = threading.Lock()3.用CSV存储数据fp = open('asd.csv','a+',newline='',encoding='utf-8')url = 'h

2020-10-04 20:31:14 1014 1

原创更新已存在的GITHUB项目（自用）

1.找到要更新的文件夹，右键Git Bush Here.2.git add .3.git remote rm origin4.git remote add origin 你的ssh5.git push -u origin master

2020-10-04 20:19:13 155

原创 2020-08-15 拉勾网反爬破解

拉勾网是目前为止遇到的反爬最强的网站之一。这里采用的是谷歌浏览器。第一步打开拉勾网，检查，输入java，找到如下图所示的地方。第二步找到以及等会要用的cookie,这里你如果直接用下面这个cookie，你会被反爬的。所以需要去尝试其他的cookie,让拉勾网认为你是第一次上这个网站。第三步清除浏览器缓存再去Headers里面你会找到多个cookie值，一个个的试试，我这儿是最后一个可以。第四步找到from data，里面的first第一页是true，后面的都是

2020-08-15 09:55:17 1006

原创 python实现爬取下一页------while篇

def get_all(url,dbs): while(url): print("正在爬取:{}".format(url)) html = requests.get(url=url, headers=headers, timeout=100).text selector = etree.HTML(html) title_urls = selector.xpath('//div[@class="topic_list_detail"]//.

2020-07-25 10:04:34 320

原创 python实现爬取下一页------递归篇

def get_detail(url,dbs): #每个网页设置延时 time.sleep(random.random() * 3) selector = comp(url) title_url = selector.xpath('//div[@class="topic_list_detail"]//a[@class="title"]/@href') title_title = selector.xpath('//div[@class="topic_list_det.

2020-07-25 10:03:41 997

原创 xpath如何使用模糊查询

selector.xpath('//*[contains(@class, "common") or contains(@class, "new")]/a[last()]/@href')html中所有拥有class="common"或者class="new"的标签都会被爬下来，弊端是例如class="s_common"也会被爬下来，所以得分析网页common和new是否唯一...

2020-07-05 14:13:58 1501

原创如何根据关键字爬取论坛所有的URL链接以及对应的标题

首先是分析网页从页面可以看出，所有的链接都在class="f1 bm"标签之内之后找到headers，获取User-Agent因此headers可以写成如下:headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',

2020-07-05 14:10:21 2502

原创如何利用python爬取豆瓣250排行电影

爬取过程如下1.获取网页URL2.利用requests提取网页3.解析网页数据，并利用正则表达式提取网页相关数据，并保存到datalist中4.保存数据到excel中用到的第三方包如下：用的是bs4+requests，用requests+xpath估计更快import requests #用于获取网页数据from bs4 import BeautifulSoup #用于解析网页数据import xlwt #用于对excel表进行操作from requests import e

2020-06-26 17:45:22 1771 1

原创贪心算法--活动安排问题

#include <bits/stdc++.h>using namespace std;struct act{ int start;//开始时间 int end;//结束时间 int tag;//用于标记是第几个活动 }acts[100];bool cmp(const act &a,const act &b){ return a.end<...

2020-04-15 14:28:16 203

原创贪心算法--最大整数问题

#include <iostream>#include <string>#include <sstream>using namespace std;string str[100]="";string ChangeIntToString(int num){ stringstream ss; string s;//用来放转换成string的数值 ...

2020-03-27 15:14:18 1187

原创动态规划--0/1背包问题

#include <iostream>#include <algorithm>using namespace std;int w[5]={0,2,7,3,8};int v[5]={0,4,4,3,6};int Space[5][9]={};int bag=8;int main(){ for(int i=1;i<5;i++){ for(int ...

2020-03-26 16:04:42 87

原创递归与分治--快速排序算法

#include <iostream>using namespace std;void QuickSort(int a[],int begin,int end){ if(begin<end){ int pivot=a[begin]; int l=begin; int r=end; while(l<r){//快速排序算法思想，最右边小于pivot则把他...

2020-03-26 15:15:36 238

原创递归与分治--归并排序

#include <iostream>using namespace std;int temp[1024];//合并a[0----mid]和a[mid+1----right],并且存入temp[]数组中 void hebing(int a[],int left,int mid,int right,int temp[]){ int i,j,k,l; i=left; j=m...

2020-03-26 15:09:49 216

原创棋盘覆盖问题

#include <iostream>using namespace std;#define MAX 1024int p[MAX][MAX];int id=0;void chessboard(int x,int y,int m,int n,int size){//m,n为奇异点坐标 if(size==1){ return ; } id++; int s=si...

2020-03-25 17:20:19 141

原创动态规划--最大字段和问题

#include <iostream>using namespace std;int find_MAX_Sum(int n,int a[]){ int sum=0,temp=0; for(int i=0;i<n;i++){ if(temp>0) temp=temp+a[i]; else temp=a[i]; if(temp>sum)...

2020-03-24 14:23:59 166

原创回溯法--骑士游历问题

基本思想就是宏观看问题，微观交给计算机自己运行。先上代码#include <iostream>using namespace std;int chess[8][8]={};int counts=0;bool ifout(int x,int y){//判断是否出界 if(x>=0&&x<=7&&y>=0&&amp...

2020-03-24 10:20:34 1788

原创回溯法--N皇后问题

一般是八皇后，首先是算法思想如下：void generate(int n){ int col; for(col=0;col<=7;col++){ if(不冲突){ 放置，并且宣布占领 if(n<7){ generate(n+1); }else{ printf();//打印 } 回溯，取消占领. } }}主函数如...

2020-03-22 16:35:22 158

原创如何利用python制作一个小游戏

1.首先创建一窗口import pygameimport pygame.locals as localspygame.init()pygame.display.set_mode((300,300))while True: #窗口无响应是因为没有任何注册在窗口上的事件 #为当前窗口增加响应事件 #利用pygame注册事件，其返回值是一个列表，存放当前注册时获...

2020-03-21 14:07:55 2514

原创贪心算法--多机调度问题

#include <iostream>#include <algorithm>using namespace std;int main(){ cout<<"请输入总的机器数目:"; int m,n;//m代表总的机器数目 cin>>m; cout<<"请输入有多少个任务:"; cin>>n;//n表示任务个...

2020-03-20 16:10:53 1003

原创贪心算法--钞票找零

#include <iostream>#include <algorithm>using namespace std;int main(){ int Money[6]={200,100,20,10,5,1};//定义的钞票的面额 int x=628;//总的金钱数目 int num=6;//钞票面额的数目 int count=0;//使用了多少张钞...

2020-03-18 16:06:09 161

原创动态规划---斐波那契数列

1.先上代码#include <iostream>using namespace std;int x;int dp[200];int f(int x){ dp[1]=1; dp[2]=1; for(int i=3;i<=x;i++){ dp[i]=dp[i-1]+dp[i-2]; } return dp[x];}int main(){ cou...

2020-03-18 15:41:25 87

原创递归与分治---汉诺塔问题

1.如何理解递归与分治呢？其主要的思想在于又宏观到微观，由整体到个体。2.不多说，上代码#include <iostream>using namespace std;//把A上的盘子放到C上 void Hanoi(int n,char A,char B,char C){ if(n==1){ cout<<A<<"-->"<<...

2020-03-18 15:35:16 158

原创 C++不使用头结点创建单链表，并实现删除某个结点的功能

头部声明如下#include <iostream>#include <malloc.h>using namespace std;typedef int ElemType;typedef struct LNode{ ElemType data;//存放数据元素值 struct LNode *next;}LinkNode;以下是主函数：...

2019-07-13 11:07:21 395