- 博客(21)
- 收藏
- 关注
RSS订阅
原创 scrapy教程基础篇
文章目录scrapy教程1、安装2、简介3、项目教学命令行全局命令项目命令创建流程实战讲解文件作用代码实例`chin.py``items.py``pipelines.py`scrapy教程系统：linux虚拟机版本：Ubuntu 16.041、安装 pip install scrapy其集成了TWISTED异步网络框架scrapy安装里面一般会自动帮你安装twisted等其他一些库...
2019-04-19 23:22:44
1189
2
原创 什么？浏览器也可以截长图？
什么？浏览器也可以截长图？现在很多的手机都推出了截长图功能，未推出的系统也可以用app实现，但是当截长图的需求出现在电脑上的时候，我们该如何解决呢？最普通的方法是一段一段截下来，然后用图片编辑软件拼接到一起，但是这样未免过于麻烦了，很多人都不知道的是，浏览器其实是自带截长图功能的！第一步按F12或者Ctrl Shift I进入开发人员工具第二步按Ctrl Shift P打开运行命令框第三步输入screenshot选择捕获全尺寸屏幕截图稍微等待一下即可获得一张长截图啦操作简单，赶紧尝试
2021-01-30 23:53:27
647
1
原创 [干货][互联网]备战春招秋招的经验分享
作为一个经历过仓促的春招，拿到了腾讯实习；仓促的秋招，拿到了腾讯、美团、拼多多等厂offer的过来人，在此写下一篇回忆贴，希望对正在准备春招or秋招的你有些帮助文章目录基本信息招聘时间招聘渠道内推码实习区分面试准备关于知识点关于刷题关于语言面试技巧做题回答问题提问环节关于心态结尾基本信息备战春招秋招，我们需要明确一些基本的信息招聘开始的大致时间招聘渠道招聘时间对于春招而言，一般来说会在三月初开始，持续时间大致为2个月对于秋招而言，一般都讲金九银十，但是在疫情爆发的这一年，字节跳动把提前批开
2021-01-26 11:15:28
363
原创 下钻图生成 highcharts-column-drilldown
下钻图生成 highcharts-column-drilldown功能使用python生成下钻图来源：https://www.highcharts.com.cn/demo/highcharts/column-drilldown下钻层数由具体的输入决定，理论上可以无限下钻，不过下钻的层数越深也就意味着需要计算的时间越久目前支持的计算方法只有count和sum核心思路对highcharts里面的代码进行分解，发现核心就是JSON而已，那么要构建这样的JS代码其实就是把数据填入合适的位置即可到s
2020-11-15 16:02:32
433
原创 [LeetCode] 8.字符转换整数（atoi）
[LeetCode] 8.字符转换整数（atoi）文章目录[LeetCode] 8.字符转换整数（atoi）题目思路题目请你来实现一个 atoi 函数，使其能将字符串转换成整数。首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假...
2020-02-12 20:26:33
170
1
原创 [LeetCode] 7.整数反转
[LeetCode] 7.整数反转文章目录[LeetCode] 7.整数反转题目思路题目给出一个 32 位的有符号整数，你需要将这个整数中每位上的数字进行反转。示例 1:输入: 123输出: 321 示例 2:输入: -123输出: -321示例 3:输入: 120输出: 21注意:假设我们的环境只能存储得下 32 位的有符号整数，则其数值范围...
2020-02-12 20:26:01
179
原创 [LeetCode] 6.Z 字形变换
[LeetCode] 6.Z 字形变换文章目录[LeetCode] 6.Z 字形变换题目思路题目将一个给定字符串根据给定的行数，以从上往下、从左到右进行 Z 字形排列。比如输入字符串为 "LEETCODEISHIRING" 行数为 3 时，排列如下：L C I RE T O E S I I GE D H N之后，你的输出需要从左往右逐行...
2020-02-11 20:07:10
170
原创 [LeetCode] 5.最长回文子串
[LeetCode] 5.最长回文子串文章目录[LeetCode] 5.最长回文子串题目思路动态规划中心扩散法题目给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: "babad"输出: "bab"注意: "aba" 也是一个有效答案。示例 2：输入: "cbbd"输出: "bb"思路首先依旧讲暴力解法...
2020-02-10 21:16:58
252
原创 [LeetCode] 4.寻找两个有序数组的中位数
[LeetCode] 4.寻找两个有序数组的中位数文章目录[LeetCode] 4.寻找两个有序数组的中位数题目思路题目给定两个大小为 m 和 n 的有序数组 nums1 和 nums2。请你找出这两个有序数组的中位数，并且要求算法的时间复杂度为 O(log(m + n))。你可以假设 nums1 和 nums2 不会...
2020-02-09 14:13:52
166
原创 [LeetCode] 3.无重复字符的最长子串
[LeetCode] 3.无重复字符的最长子串文章目录[LeetCode] 3.无重复字符的最长子串题目思路滑动窗口哈希表题目给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例 1:输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其 长度为 3。示例 2:输入: "bbbbb"输出:...
2020-02-08 15:57:43
229
1
原创 [LeetCode] 2.AddTwoSums
[LeetCode] 2.AddTwoSums文章目录[LeetCode] 2.AddTwoSums题目思路解法一解法二题目给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数...
2020-02-07 20:21:05
238
1
原创 [LeetCode] 1.TwoSum
[LeetCode] 1.Two Sum文章目录[LeetCode] 1.Two Sum题目解法1解法二解法三题目给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 1...
2020-02-07 16:22:43
121
1
原创 霍夫变换
霍夫变换原理详解一个总结帖上面的链接写的很清楚了但是不能让我看起来太摸鱼了，于是我说一下自己的想法再添加一点细节和理解霍夫变化实际上就是把一张图片上所有的点都连接起来，然后根据阈值来判断是否这一条线上的点超过了阈值，如果超过了那么这条线就放入结果当中，如果没超过则跳过一条二维平面上的线是通过斜率和截距来确定的，y=kx+b，如上面的链接所说，在霍夫空间里面，一个点等效与笛卡尔坐标下的一...
2019-10-31 16:50:14
987
原创 【超详细】黑板客全五关攻略
前言：最近从一篇微信文章中了解到了黑板客爬虫关卡这个网站，便去尝试了一下，以下是过程记录代码源码在文章最后，如果觉得对您有帮助的话，希望您点个赞鼓励创作文章目录第一关第二关第三关第四关第五关源码第一关地址：http://www.heibanke.com/lesson/crawler_ex00/这是最初的关卡，也没有什么难度，根据提示在网址后面更替数字，会发现一层一层迭代，那么猜测需要一...
2019-08-30 11:13:35
302
原创 【超实用】爬取2000+免费PPT模板（新手向）
网上的免费ppt模板很多，但是当需要使用的时候，一个个去搜寻下载实在是很麻烦，那么为什么不直接寻找一个免费的ppt模板网站，把其免费的PPT模板都爬取下载，需要使用的时候直接挑选即可文章目录网页层次分析流程图代码展示结果展示网页层次分析我选取的免费的ppt模板网址是http://www.ypppt.com/moban/从以上截图可以看出，这是个典型的三层结构第一层是全部的ppt的列表...
2019-08-08 23:11:54
1882
原创 【超详细】QQ空间说说爬取教程（看看你的女神在想什么~
【超详细】QQ空间说说爬取教程文章目录【超详细】QQ空间说说爬取教程环境selenium模拟登录说说内容获取破解g_tk说说的评论获取说说的点赞人获取url参数构成好友列表获取数据库的存储如何加速ps暑假闲来无事，研究了一下QQ空间的爬取，以下是一些记录环境系统: win10语言: python3.7浏览器: Chrome数据库: mysql 8.0selenium模拟登录...
2019-08-05 00:55:44
9102
11
原创 简单爬取wallpaper heaven高清壁纸（福利满满~）
简单爬取wallpaper heaven高清壁纸前言：wallpaper heaven是一个拥有百万高清壁纸的网站，其壁纸质量极佳，像我这种懒得用壁纸软件的人，便决定从该网站爬些图片，用来动态切换当作壁纸文章目录简单爬取wallpaper heaven高清壁纸URL分析程序设计代码实现URL分析首先看页面我们随意点击后查看网址https://alpha.wallhaven.cc/...
2019-04-27 21:20:33
133438
6
原创 python爬虫去除html中特定标签、去除注释、替换实体
html数据清洗之去除特定标签前言：本文主要讲w3lib库的四个函数html.remove_tags()html.remove_tags_with_content()html.remove_comments()html.remove_entities()文章目录html数据清洗之去除特定标签remove_tagsremove_tags_with_contentremove_comm...
2019-04-25 22:28:39
21112
3
原创 如何在Ubuntu上安装scrapy与mongodb
前言：这个星期最初本想在windows上搭建scrapy环境，但是windows实在是太不友好了，mongodb始终安装不好，再考虑到之前有些库在windows上不适用，于是痛定思痛，决定重新搭建一个虚拟机环境。一、虚拟机平台：virtualbox版本：Ubuntu 16.04二、安装python3最简单的方法命令行输入：sudo apt install python3不行再尝试...
2019-04-22 18:33:53
310
原创 selenium基础学习笔记
简介：Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——...
2019-04-22 18:17:07
361
原创 scrapy实践之随机请求头、随机ip和模拟登陆
scrapy实践之随机请求头、随机ip和模拟登陆文章目录scrapy实践之随机请求头、随机ip和模拟登陆@[toc]随机user-agent随机IP模拟登陆的数种方法1.cookies登录2.用户名密码如何设置随机的user-agent头以及随机IP随机user-agent这一块我们可以直接在settings里面设置，但是settings里面是只有一个的，网上也有在settings里...
2019-04-21 22:24:59
667
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人