自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

utopianist的博客

吐出灵魂去热爱.

  • 博客(27)
  • 资源 (1)
  • 收藏
  • 关注

原创 1024 Palindromic Number (25 point(s))

1024 Palindromic Number (25 point(s))A number that will be the same when it is written forwards or backwards is known as a Palindromic Number(回文数). For example, 1234321 is a palindromic number. All single digit numbers are palindromic numbers.Non-palindr

2021-05-22 15:53:28 51

原创 1023 Have Fun with Numbers (20 point(s))

1023 Have Fun with Numbers (20 point(s))Notice that the number 123456789 is a 9-digit number consisting exactly the numbers from 1 to 9, with no duplication. Double it we will obtain 246913578, which happens to be another 9-digit number consisting exactly

2021-05-21 09:22:49 74

原创 1009 Product of Polynomials (25 point(s))

1009 Product of Polynomials (25 point(s))This time, you are supposed to find A×B where A and B are two polynomials.Input Specification:Each input file contains one test case. Each case occupies 2 lines, and each line contains the information of a polyno

2021-05-19 13:43:13 52

原创 1001 A+B Format (20 point(s))

1001 A+B Format (20 point(s))Calculate a+b and output the sum in standard format – that is, the digits must be separated into groups of three by commas (unless there are less than four digits).Input Specification:Each input file contains one test case.

2021-05-19 09:15:06 24

原创 1002 A+B for Polynomials (25 point(s))

1002 A+B for Polynomials (25 point(s))This time, you are supposed to find A+B where A and B are two polynomials(多项式).Input Specification:Each input file contains one test case. Each case occupies 2 lines, and each line contains the information of a poly

2021-05-19 01:09:21 31

原创 Dev-Cpp 的配置和 Debug

如果想要在Dev-Cpp里面使用C++11特性的函数,比如刷算法中常用的stoi、to_string、unordered_map、unordered_set、auto这些,需要在设置里面让dev支持c++11~需要这样做~在工具-编译选项-编译器-编译时加入这个命令“-std=c++11”:Referhttps://blog.csdn.net/liuchuo/article/details/82669248...

2021-05-17 18:17:24 420

原创 [Debug]VMFusion报错 could not open /dev/vmmon: broken pipe.

报错:could not open /dev/vmmon: broken pipe.在终端运行sudo kextunload /Library/Extensions/intelhaxm.kext试试

2021-05-17 09:45:19 66

转载 spring mvc 从Controller向页面传数据

之前章节中已经详细介绍了Controller获取请求参数,Controller中方法的返回值,此章节我们详细介绍一下从Controller向页面传值的方式 Controller向页面传值方式 使用Request对象保存数据使用Session对象保存数据使用ModelAndView保存数据使用Model保存数据使用ModelMap保...

2021-04-03 10:20:27 374

原创 vmware 安装 Ubuntu 18.04.2

vmware 安装 Ubuntu 18.04.2选择自定义虚拟机,一路 continue 下去。然后点击 CD/DVD,其他不用的设备可以直接删掉。然后开启虚拟机,跟着我 done 下去:直到配置镜像地址,这里改成阿里云的:http://mirrors.aliyun.com/ubuntu接着一定要选磁盘扩容,不然将来磁盘无法扩容。更改逻辑卷就改成最大的数值...

2020-04-04 15:56:56 214

原创 GitLab and SSH keys

GitLab and SSH keysGit is a distributed version control system, which means you can work locallybut you can also share or "push" your changes to other servers.Before you can push your changes to ...

2020-04-03 13:28:26 290

原创 超快的国内docker镜像

直接用国外的 docker hub 镜像实在是太慢了。换过 Daocloud 的镜像源,还是很慢,每秒大概 500 kb。然后用了中国科学技术大学(LUG@USTC)的开源镜像,速度蹭蹭蹭上去了:sudo vi /etc/docker/daemon.json 。{"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]}...

2020-04-01 16:27:14 1701

原创 博客复制(去除行号、特殊标志、完善图片)

博客复制(去除行号、特殊标志、完善图片)去除行号有时在其他博客上复制的代码,可能是这样。一两个可能还好,可是大量大量复制的时候,要删除就很麻烦了。这是打开任何带有正则匹配功能的 ide,比如 IDEA , Ctrl+R 打开正则表达式匹配模式。输入 1\n2\n((\d+\n)+) 解决问题。但我的匹配规则不好,欢迎提出更优雅的规则。特殊标志例如下面的 VuePress 复制的文...

2020-03-31 14:27:28 119

原创 FuckCSDN:去除CSDN上的百度广告

blog.csdn.net 上的广告及其恶心,及其反人类,及其作恶。使用 Adblock 类的广告过滤插件可以很好的屏蔽这类广告。以 Adblock Plus 为例,在设置中写入规则:baidu.com###content_rightbaidu.com##.cr-offseticlick.admaster.cn/*cm.baidu.com/*cm.pos.baidu.com/*...

2019-06-16 19:52:28 411

转载 PyQuery用法详解

本文转自:https://blog.csdn.net/jeremyjone/article/details/80450236前言PyQuery 是灵活而又强大的网页解析库,而在爬虫框架 PySpider 和 Scrapy 中又随处可以 PyQuery 的身影。本节,我们通过一连串的极其简易的实例,来深入学习 PyQuery。那我们开始吧!一、初始化方式有三种,可以传入字符串,传...

2018-11-29 18:02:42 1227 1

原创 搜狗微信文章爬取(下)

GitHub:https://github.com/utopianist/SougouWeixin前言上节我们爬完了所有索引页,这节我们开始爬取公众号文章。要知道,我们之前爬的是 weixin.sogou.com ,而现在爬取的是 mp.weixin.qq.com ,这是两个完全不同的网站。关于 mp.weixin.qq.com 的反爬,并不是很严厉,我们只需需要构造新的请求头。...

2018-11-27 16:31:08 3732

原创 搜狗微信文章爬取(中)

前言上节,我们已经成功构造了包含参数 SNUID 的 Cookie 池,这节我们将正式爬取 sogou.weixin.com。Redis数据库我们同样编写一个 db.py 文件,里面包含 Redis 数据的各种接口。我们要对接 Redis ,并且满足一下几个功能:能够提取 SNUID 参数拼凑出请求头。能够提取出代理,并且对不满足需求的代理扣分。构造一个新的 Redis 队列 re...

2018-11-27 04:46:40 3644 2

原创 搜狗微信文章爬取(上)

前言weixin.sogou.com 是一个反爬极其严厉的站点。想要通过搜狗提供的 API 爬取微信公众号,你必须对以下几点印象深刻:weixin.sogou.com 的 URL 构造,这是爬虫工程师的基本功。在不登录的情况下只能浏览前十页。在登录的情况下只能爬取前一百页。搜狗微信 的反爬措施是封 IP 和封 Cookie。如果每五秒翻一页,大概翻二十页你会触发反爬:我们今天...

2018-11-27 03:25:27 9627 1

原创 爬虫进阶:Redis+Flask构建代理池

关键字: 代理池 Redis FlaskGitHub:https://github.com/utopianist/ProxyPool前言我们今天跟着 《Python3网络爬虫开发实战》这本书来搭建自己的代理池。代理池工作后,我拥有了接近八百个代理,评分一百的代理也有上百个。代理池结构功能代理池中的 py 文件功能:基本框架:为什么是 Redis?Redis 是一个开源的...

2018-11-18 01:09:12 626 4

原创 进阶爬虫:用 selenium 爬取 GitHub 2.0

关键字: selenium 爬虫GitHub:https://github.com/utopianist/GitHubZip2.0前言我在微信公众号写的第一篇推文:爬爬看:爬取 GitHub 项目 Zip 文件,保存并解压。发布的时间不过十多天,GitHub 网站的 URL 规则就更改了。昨天更新了这部分代码:GitHub:https://github.com/utopiani...

2018-11-12 15:59:51 442

原创 PyCharm Regex 正则匹配

这几天在学习崔庆才大佬的《Python3WebSpider》时,看到了这么一波亮瞎眼的操作:我百度了一下后,发现一些门路:在 PyCharm 中键入 Ctrl+R 打开正则表达式匹配模式。选择 Regex 正则匹配。在上框中输入 (.*?): (.*) 。在下框中输入 '$1': '$2', 主要到这里的冒号后面有空格,还有注意末尾有一个逗号。最后点击 Replace all 。...

2018-11-11 16:11:41 3203 2

原创 进阶爬虫:今日头条街拍美图

关键字: json 爬虫 MongoDBGitHub:https://github.com/utopianist/JiePai前言今日我们在 今日头条 网站上爬取 街拍美图 。今日头条 的数据都是用 Ajax 技术加载渲染完成,打开 今日头条 页面源码,连一根鸡毛都没有。在我们爬虫界,按照 ‘可见即可爬’ 的原则, 所谓的 Ajax 就是 ’换一个页面‘ 爬取我们想要爬取的资源。...

2018-11-11 15:27:42 603

原创 经典爬虫:用Scrapy爬取百度股票

关键字: Scrapy CSS选择器 爬虫GitHub:https://github.com/utopianist/ScrapyBaiduStocks课程url:http://www.icourse163.org/course/BIT-1001870001前言今天我们编写一个用 Scrapy 框架来爬取百度股票的代码,之前写过一篇爬取百度股票的文章,代码的逻辑和这篇文章的逻辑是一样的...

2018-11-08 20:28:40 553

原创 爬爬看:爬取西刺代理

关键字: 西刺代理 爬虫 CSV文件GitHub:https://github.com/utopianist/XichiProxies前言由于群里一位水友的提问,我打算写这份代码。西刺网站的代理分为四种:高匿 、普通(透明) 、HTTPS 、HTTP 。对应页面的 URL 特征是:nn 、nt 、wn 、wt 。这里,我们以 高匿代理 为爬取目标。目标站点分析查看网页 元素...

2018-11-07 16:14:46 547 2

原创 经典爬虫:爬取百度股票

关键字: 百度股票 爬虫 文件保存课程 URL:http://www.icourse163.org/course/BIT-1001870001GitHub: https://github.com/utopianist/CrawBaiduStock前言百度股票 URL :https://gupiao.baidu.com/stock/ + sz300059 +.html,其中以 sh 开...

2018-11-04 18:10:28 2675 3

原创 经典爬虫:淘宝商品

关键字: 淘宝 爬虫课程url:http://www.icourse163.org/course/BIT-1001870001GitHub:https://github.com/utopianist/CrawTaoBao前言这次爬取taobao.com,输入关键词书包:达到这种效果:HTML下载器def getHTML(url): try: head...

2018-11-03 12:24:50 164

原创 经典爬虫:爬取高校排名

前言本文介绍北京理工大学崇天老师的一篇爬虫,爬取的目标站点是"最好大学网".附上课程URL=‘https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/learn/announce’.HTML下载器HTML下载器注意到get函数的两个方法,raise_for_status()和apparent_encoding,rais...

2018-11-01 20:46:09 391

原创 爬爬看:爬取GitHub项目Zip文件,并保存解压.

爬爬看:爬取GitHub项目Zip文件,并保存解压.前言目标站点分析HTML下载器HTML解析器Zip下载器Zip解压并删除总结前言最近在学习崔庆才大佬的网络爬虫课程,难免要用到他GitHub上课源代码.但项目很多,一个个下载这种事情,显得很愚蠢.我作为一个程序员,宁愿用一天来写一个代码,也不要用十分钟来手动下载(`へ´*)ノ.目标站点分析这次我们要下载的zip文件链接是这样的:我们只...

2018-10-29 17:43:28 4699 6

charles的ca证书

charles的ca证书

2018-12-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除