- 博客(28)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 扯扯机器学习
这是第❾篇神扯：扯扯机器学习。虽然，AI火了很久，但是谈起人工智能、机器学习、深度学习这些概念，吃瓜群众还是一脸懵逼。今天，我们来系统讲讲，这些概念到底有啥区别和联系。下面这张图看得比较明白，人工智能、机器学习和深度学习，其实三者是层层包含的关系。人工智能的概念，起源于1950年代，包含多个分支，比如专家系统、进化计算、模糊逻辑、推荐系统，也包括最重要的分支：机器学习。说白了，机器学习是实现人工智能的方法之一。而机器学习...
2020-07-15 14:19:51
411
转载 扯扯人工智能
这是第❽篇神扯：扯扯人工智能。当我们说起云上的人工智能应用时，确切讲，通常都是指AI on Cloud。说白了，就是云服务商把AI能力做成按需服务的资源，提供给客户使用。然而，对于大多数客户来说，他们需要的不是散装能力，而是套餐能力。可是，这个套餐可不可口，还是很有学问的，因为配料很多。通常的AI套餐，一般有6层配料，每层都不好料理。配料多了，食材的选择和搭配就考验“大厨”们的水平，每种“食材”必须都要发挥到极致，味道才会可口，否则往...
2020-07-15 14:18:48
350
转载 扯扯神秘的中台
这是第❼篇神扯：扯扯神秘的中台。这两年，业内有个乱象：乙方拼命造“中台”，甲方扎堆上“中台”。他们的日常是这样的…中台，彻底火了。然鹅却有相当一部分人，压根没整明白，到底中台是啥。▌那么，到底什么是中台？是这吗？看完更晕了。我们来通俗解释一下中台吧。中台是相对于“前台”和“后台”来讲的。说白了，我们日常接触到的各种应用，都分为“前、后”两个部分。前台，就...
2020-07-15 14:17:49
367
转载 谈谈那些“你以为”的安全
这是第❻篇神扯：谈谈那些“你以为”的安全。我们的安全，还是以前的安全吗？仿佛一夜之间，世界变了模样。冷不丁，就会爆出一个安全问题来——数据泄露、APT攻击、勒索病毒……为什么如今安全事件如此频繁？是因为大环境在变——❶以前，我们知道“敌人”在哪里。我们可以像修长城一样，部署防火墙，筑起一道屏障，我们在这边，敌人在那边。现在，我们分不清“敌人”在哪里。明明已经严防死守，却挡不住无处不在的攻击。...
2020-07-15 14:16:25
365
转载 扯扯国内云计算的一些动态
这是第5篇神扯：扯扯国内云计算的一些动态。一晃，中国云计算这个“班”，到了小升初的阶段。讲真，这几年学业压力不小，同学们过得都不容易。今天我们再来看看，大家在班里都混成了什么样▌阿里云 → 班长一直还在当班长，这几年考试成绩都是第一，只是分数领先优势没那么大了。仗着家里土豪，刚刚又砸了一大笔钱买学习资料和上课外班。这让班里家境不好的同学，看了又气又急。班长口头禅：All in Cloud.▌华为云→团支书越发根红苗正了，去年被...
2020-07-15 14:14:08
529
转载 说个神秘的概念——数据湖
这是第❹篇神扯：说个神秘的概念——数据湖。从前，数据少的时候，人们拿脑子记就可以了，大不了采用结绳记事：后来，为了更有效率的记事和工作，数据库出现了。数据库核心是满足快速的增删改查，应对联机事务。比如你用银卡消费了，后台数据库就要快速记下这笔交易，更新你的卡余额。日子久了，人们发现，库里的数据越来越多了，不光要支持联机业务，还有分析的价值。但是，传统数据库要满足频繁、快速的读写需求，并不适合这种以读取大量数据为特征的分析业务。...
2020-07-15 14:01:59
533
转载 说说我们最熟悉的交换机
这是第❸篇神扯：说说我们最熟悉的交换机。作为网工，我常有这样的担忧。害怕机房的网线被不可描述的生物咬到????喵星人会带来这样的威胁吗？恰恰相反，据我所知，在很多大型的数据中心，都会养几只猫，用来防范鼠害。所以，喵星人不仅不会搞破坏，还会成为数据中心的模范守护者！网线的一端，连着我们熟悉的电脑和服务器，而另一端，连接的就是网络世界最重要的设备：交换机。交换机很多种分类，上面，只是从长相上区分。按形态规格分：机...
2020-07-15 11:08:38
640
转载 唤醒无数复工人
这是第❷篇神扯：V.P.N，你懂的。你和公司的距离，就差一条 V.P.N 了不知不觉，已是正月廿八日子就这样一天天过去…鼠小弟是只勤劳又聪明的仓鼠今年是本命年，但它依然很劳碌每天都要从粮仓搬粮食回家可是，粮仓离家很远——这条路，就像是internet线路，充满不确定性，延迟、抖动、网络攻击。对于要从事生产业务的企业来讲，如果直接采用互联网线路来联网，风险很大。...
2020-07-15 10:37:29
273
转载 撸猫撸懂云计算
今天神扯第一篇，真实经历，绝非段子…这是第❶篇神扯：撸猫撸懂云计算。一个做云计算的朋友来公司玩，他只懂云计算，却从未养过猫，看见我养在工作室的猫，随口问：啥猫？????答：美短，美国短毛猫。友疑：这和中华田园猫有啥区别啊？答：中华田园猫相当于阿里云，美短相当于AWS。一个在中国量大，一个在美国量大。友秒懂…❷未几，友瞥见室内有猫砂盆两个。遂追问：为何用两个，一个不够？答：同城双...
2020-07-15 09:29:14
2761
转载 Web Scraper——轻量数据爬取利器
日常学习工作中，我们多多少少都会遇到一些数据爬取的需求，比如说写论文时要收集相关课题下的论文列表，运营活动时收集用户评价，竞品分析时收集友商数据。当我们着手准备收集数据时，面对低效的复制黏贴工作，一般都会萌生一个想法：我要是会爬虫就好了，分分钟就把数据爬取下来了。可是当我们搜索相关教程时，往往会被高昂的学习成本所劝退。拿现在最通用的 python 爬虫来说，对于小白来说往往要跨过下面几座大山：学习一门编程语言：python 学习网页的基础构成——HTML标签和CSS选择器，有时候还要...
2020-07-08 16:12:49
2529
转载 Web Scraper 高级用法——使用 CouchDB 存储数据 | 简易数据分析 18
这是简易数据分析系列的第 18 篇文章。利用 web scraper 抓取数据的时候，大家一定会遇到一个问题：数据是乱序的。在之前的教程里，我建议大家利用 Excel 等工具对数据二次加工排序，但还是存在部分数据无法排序的情况。其实解决数据乱序的方法也有，那就是换一个数据库。web scraper 作为一个浏览器插件，数据默认保存在浏览器的localStorage数据库里。其实 web scraper 还支持外设数据库——CouchDB。只要切换成这个数据库，就可以在抓取过程中保证数据正序了..
2020-07-08 14:29:06
1197
1
转载 Web Scraper 高级用法——利用正则表达式筛选文本信息 | 简易数据分析 17
这是简易数据分析系列的第 17 篇文章。学习了这么多课，我想大家已经发现了，web scraper 主要是用来爬取文本信息的。在爬取的过程中，我们经常会遇到一个问题：网页上的数据比较脏，我们只需要里面的一部分信息。比如说要抓取 电影的评价人数，网页中抓到的原始数据是1926853人评价，但是我们期望只抓取数字，把人评价这三个汉字丢掉。这种类似的操作在 Excel 可以利用公式等工具处理，其实在 web scraper 里，也有一个利器，那就是正则表达式。正则表达式是一个非常强大工具...
2020-07-08 14:28:09
1153
转载 Web Scraper 高级用法——抓取属性信息 | 简易数据分析 16
这是简易数据分析系列的第 16 篇文章。这期课程我们讲一个用的较少的 Web Scraper 功能——抓取属性信息。网页在展示信息的时候，除了我们看到的内容，其实还有很多隐藏的信息。我们拿豆瓣电影250举个例子：电影图片正常显示的时候是这个样子：如果网络异常，图片加载失败，就会显示图片的默认文案，这个文案其实就是这个图片的属性信息：我们查看一下这个结构的 HTML（查看方法可见CSS 选择器的使用的第一节内容），就会发现图片的默认文案其实就是这个<img/>标签...
2020-07-08 14:27:07
1016
转载 Web Scraper 高级用法——CSS 选择器的使用 | 简易数据分析 15
这是简易数据分析系列的第 15 篇文章。年末事情比较忙，很久不更新了，后台一直有读者催更，我看了一些读者给我的私信，发现一些通用的问题，所以单独写篇文章，介绍一些 Web Scraper 的进阶用法。今天我们就来学习一些 CSS 选择器的知识，辅助 Web Scraper 更好的定位要选择的元素。一、定位 HTML 节点HTML 是什么？它是一个网页的骨架，是最最基础的东西。比如说你现在看的这篇文章，其实就是一个网页，每一行字都是 HTML 里的一个<p>标签。网页...
2020-07-08 14:25:35
699
转载 Web Scraper 翻页——利用 Link 选择器翻页 | 简易数据分析 14
这是简易数据分析系列的第 14 篇文章。今天我们还来聊聊Web Scraper 翻页的技巧。这次的更新是受一位读者启发的，他当时想用 Web scraper 爬取一个分页器分页的网页，却发现我之前介绍的分页器翻页方法不管用。我研究了一下才发现我漏讲了一种很常见的翻页场景。在web scraper 翻页——分页器翻页的文章里，我们讲了如何利用Element Click选择器模拟鼠标点击分页器进行翻页，但是把同样的方法放在豆瓣 TOP 250上，翻页到第二页时抓取窗口就会自动退出，一条数据...
2020-07-08 14:24:43
725
转载 Web Scraper 高级用法——抓取二级网面 | 简易数据分析 13
这是简易数据分析系列的第 13 篇文章。在前面的课程里，我们抓取的数据都是在同一个层级下的内容，探讨的问题主要是如何应对市面上的各种分页类型，但对于详情页内容数据如何抓取，却一直没有介绍。比如说我们想抓取 b 站的动画区 TOP 排行榜的数据：https://www.bilibili.com/ranking/all/1/0/3按之前的抓取逻辑，我们是把这个榜单上和作品有关的数据抓取一遍，比如说下图里的排名、作品名字、播放量、弹幕数和作者名。经常逛 B 站的小伙伴也知道，UP 主经常暗
2020-07-08 14:23:54
857
1
转载 Web Scraper 翻页——抓取分页器翻页的网页（Web Scraper 高级用法）| 简易数据分析 12
这是简易数据分析系列的第 12 篇文章。前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法，比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。本来想解释一下啥叫分页器，翻了一堆定义觉得很繁琐，大家也不是第一年上网了，看张图就知道了。我找了个功能最全的例子，支持数字页码调整，上一页下一页和指定页数跳转。今天我们就学学，Web Scraper 怎么对付这种类型的网页翻页。其实我们在本教程的第一个例子，抓取豆
2020-07-08 14:23:00
4232
1
转载 Web Scraper 高级用法——抓取表格数据 | 简易数据分析 11
这是简易数据分析系列的第 11 篇文章。今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。First Name所在的行比较特殊，是一个表格的表头，表示信息分类 2-5 行是表格的主体，展示分类内容经典表格就这些知识点，没了。下面我们写个简单的表格 Web Scraper 爬虫。1.制作 Sitemap我们今天的练手网站是http://www.huochepiao.com/search/chaxun/result.asp?txtChuFa=�Ϻ.
2020-07-08 14:21:51
3011
转载 Web Scraper 翻页——抓取「滚动加载」类型网页（Web Scraper 高级用法）| 简易数据分析 10
这是简易数据分析系列的第 10 篇文章。友情提示：这一篇文章的内容较多，信息量比较大，希望大家学习的时候多看几遍。我们在刷朋友圈刷微博的时候，总会强调一个『刷』字，因为看动态的时候，当把内容拉到屏幕末尾的时候，APP 就会自动加载下一页的数据，从体验上来看，数据会源源不断的加载出来，永远没有尽头。我们今天就是要讲讲，如何利用 Web Scraper 抓取滚动到底翻页的网页。今天我们的练手网站是知乎数据分析模块的精华帖，网址为：https://www.zhihu.com/topic/1
2020-07-07 10:29:02
2655
转载 Web Scraper 高级用法——Web Scraper 自动控制抓取数量 & Web Scraper 父子选择器 | 简易数据分析 09
这是简易数据分析系列的第 9 篇文章。今天我们说说 Web Scraper 的一些小功能：自动控制 Web Scraper 抓取数量和 Web Scraper 的父子选择器。如何只抓取前 100 条数据？如果跟着上篇教程一步一步做下来，你会发现这个爬虫会一直运作，根本停不下来。网页有 1000 条数据，他就会抓取 1000 条，有 10W 条，就会抓取 10W 条。如果我们的需求很小，只想抓取前 200 条怎么办？如果你手动关闭抓取数据的网页，就会发现数据全部丢失，一条都没有保存下来，所以说
2020-07-07 10:28:15
2081
转载 Web Scraper 翻页——点击「更多按钮」翻页（Web Scraper 高级用法） | 简易数据分析 08
这是简易数据分析系列的第 8 篇文章。我们在Web Scraper 翻页——控制链接批量抓取数据一文中，介绍了控制网页链接批量抓取数据的办法。但是你在预览一些网站时，会发现随着网页的下拉，你需要点击类似于「加载更多」的按钮去获取数据，而网页链接一直没有变化。所以控制链接批量抓去数据的方案失效了，所以我们需要模拟点击「加载更多」按钮，去抓取更多的数据。今天我们讲的，就是利用 web scraper 里的Element click模拟点击「加载更多」，去加载更多的数据。这次的练习网站..
2020-07-07 10:27:30
1992
1
转载 Web Scraper 高级用法——Web Scraper 抓取多条内容 | 简易数据分析 07
这是简易数据分析系列的第 7 篇文章。在第 4 篇文章里，我讲解了如何抓取单个网页里的单类信息；在第 5 篇文章里，我讲解了如何抓取多个网页里的单类信息；今天我们要讲的是，如何抓取多个网页里的多类信息。这次的抓取是在简易数据分析 05的基础上进行的，所以我们一开始就解决了抓取多个网页的问题，下面全力解决如何抓取多类信息就可以了。我们在实操前先把逻辑理清：上几篇只抓取了一类元素：电影名字。这期我们要抓取多类元素：排名，电影名，评分和一句话影评。根据 Web Scraper
2020-07-07 10:26:25
1731
1
转载 Web Scraper 高级用法——如何导入别人已经写好的 Web Scraper 爬虫 | 简易数据分析 06
这是简易数据分析系列的第 6 篇文章。上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据，内容都太干了，今天我们说些轻松的，讲讲 Web Scraper 如何导出导入 Sitemap 文件。前面也没有说，SItemap 是个什么东西，其实它就是我们操作 Web Scraper 后生成的爬虫文件，相当于 python 爬虫的源代码，导入 Web Scraper 一运行就可以爬取数据。学习了这一章节，就可以分享我们的设置好的爬虫文件了。导出 Sitemap导
2020-07-07 10:19:41
723
转载 浏览器中那些不为人知的使用技巧 | 简易数据分析 03
这是简易数据分析系列的第 3 篇文章。上文我们安装了 Web Scraper 插件，我相信对于大部分人来说还是很简单的，这篇文章我们说些不一样的内容，讲讲浏览器里那些不被大多数人所知的骚操作。作为普通的使用者，大家用浏览器就是查阅信息，浏览网页。但在开发者的眼里，Chrome 浏览器提供了非常强大的开发能力。通过这篇文章的学习，大家可以掌握一些浏览器开发的小知识(相信我，一点儿都不难)，方便我们 Web Scraper 插件的后续学习。下面开始正文。1 开启开发者后台这个功能我其实在旧文
2020-07-07 10:15:08
509
转载 Web Scraper 翻页——控制链接批量抓取数据（Web Scraper 高级用法）| 简易数据分析 05
这是简易数据分析系列的第 5 篇文章。上篇文章我们爬取了豆瓣电影 TOP250 前 25 个电影的数据，今天我们就要在原来的 Web Scraper 配置上做一些小改动，让爬虫把 250 条电影数据全部爬取下来。前面我们同时说了，爬虫的本质就是找规律，当初这些程序员设计网页时，肯定会依循一些规则，当我们找到规律时，就可以预测他们的行为，达到我们的目的。今天我们就找找豆瓣网站的规律，想办法抓取全部数据。今天的规律就从常常被人忽略的网址链接开始。1.链接分析我们先看看第一页的豆瓣网址链.
2020-07-07 10:08:59
1736
1
转载 Web Scraper 初级用法——Web Scraper 初尝--抓取豆瓣高分电影 | 简易数据分析 04
这是简易数据分析系列的第 4 篇文章。今天我们开始数据抓取的第一课，完成我们的第一个爬虫。因为是刚刚开始，操作我会讲的非常详细，可能会有些啰嗦，希望各位不要嫌弃啊：）有人之前可能学过一些爬虫知识，总觉得这是个复杂的东西，什么 HTTP、HTML、IP 池，在这里我们都不考虑这些东西。一是小的数据量根本不需要考虑，二是这些乱七八糟的东西根本没有说到爬虫的本质。爬虫的本质是什么？其实就是找规律。而且爬虫的找规律难度，大部分都是小学三年级的数学题水平。我们下面拿个例子说明一下，下图历史文章
2020-07-07 10:07:04
1067
转载 Web Scraper 的下载与安装 | 简易数据分析 02
这是简易数据分析系列的第 2 篇文章。上篇说了数据分析在生活中的重要性，从这篇开始，我们就要进入分析的实战内容了。数据分析数据分析，没有数据怎么分析？所以我们首先要学会采集数据。我调研了很多采集数据的软件，综合评定下来发现最好用的还是Web Scraper，这是一款Chrome 浏览器插件。推荐的理由...
2020-07-07 09:59:35
1497
转载 为什么我们要学习数据分析？| 简易数据分析 01
这是简易数据分析系列的第 1 篇文章。为什么叫简易数据分析？第 1 个原因是本教程面向纯小白用户，不写代码不写公式，迈出数据分析的第一步。第 2 个原因是生活中很多的数据分析场合，都是很轻量的，不需要上 Python 爬虫、高并发架构，机器学习等重武器，一个浏览器再加一个 Excel 就足够了：比如说某门课程论文交稿只有几天了，急需快速爬取数据进行数据分析，这时候临阵磨枪学习 Python 爬虫知识时间完全不够；做一些市场调研和运营工作需要对数据进行采集，让技术部门支持的话，走流程的周
2020-07-07 09:57:59
453
MyEclipse2015 Stable2.0补丁
2016-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人