ofter数据科学

随着科技的发展，产业升级成功的一个重要标志是：工作任务能够“螺丝钉化”，而在这个过程中，需要把一个项目中的任务合理地拆分成耦合程度最小的单元。ofter今天以数据可视化为例，来讲讲如何把数据可视“螺丝钉化”，未来我们还可以衍生到数据科学。...

Ofter一直在发布数据科学相关的内容，数据安全应当是数据科学最重要的组成部分，因此，本期向大家普及关于数据安全的知识。“斯诺登事件”爆发后，欧盟不满Facebook等跨国公司屡次侵犯公民隐私的行为，于2018年颁布“史上最严数据保护法”。

数据爬虫最大的难点在于爬和反爬的博弈过程，当我们开发出一门爬取技术，就会有对应的反爬策略应运而生，然后再研究出新的爬取手段，周而复始。此文收集和总结了数据爬虫的常用框架和技术，希望在学习道路上少走弯路。

线性回归、神经网络、决策树都是有监督学习中的成员。ofter之前在两篇文章中已经详细介绍了线性回归和神经网络，感兴趣的可以去看一下。线性回归和神经网络适合处理数值类型的输入，而像数据集中的输入属性主要是标称的，那么使用决策树模型会更合适。

上一期中，ofter介绍了计算机视觉的常用神经网络模型，以及如何选择模型，今天我们就趁热打铁拿个实际的模型跑跑，欢迎大家跨入数据科学家们的世界。

我们知道，数据不仅包含文字、数字，还包含图片、视频等，如何更好地查看、识别和解释图像和视频的内容，就像人类视觉一样，一直是目前人工智能的主要研究方向。机器学习无疑是现代数据科学的核心，在经历了几十年回归、分类、决策树、异常检测的沉淀后，数据科学的魔爪也不断地向更深度的学习试探。

一个人可以无法成为科学家、政治家、企业家......然而，成为某个领域的专家是完全可以实现的。Ofter坚持在数据科学领域钻研，如果你也喜欢研究数据，那就让我们从今天开始踏上数据科学之旅。

当我们在制作数据报告时，折线图、柱状图是比较常用的图表，而按年推移的动态排序是更常用的分析方法。每次为了制作动态排序，花几个小时折腾代码真不是什么好方法。因此ofter制作了一个小工具分享给大家使用，只要上传excel数据，就能自动生成动态排序效果。

大部分人对可视化大屏的需求：常用的图表库，图表样式可自定义，动态数据，大屏实时展示，组件丰富，可添加数据源，无代码编辑大屏。Ofter自己设计→开发→测试→部署，花了三周时间制作了一个可视化平台，希望后期能免费提供给广大粉丝们使用，同时要感谢那些给我提供意见和需求的用户们。

未来的准数据科学家，你是不是也很想写一份有意思的数据分析报告？Ofter为支持学习数据科学的同学们，帮大家整理了一份免费的公开数据集平台清单，以后就不用为找不到数据而犯愁了。

目前内容产业比较火，输出更高质量的内容将变得越来越重要，因为互联网一直都在潜移默化地影响着我们。我们经常看到的md文件就是markdown，写起来确实挺方便。目前在各大平台发布内容，基本上都使用Markdown编辑器，线下编辑好markdown文件，发布到互联网上岂不很舒服？

数据可视化，演示简历、作品或产品，都需要前端的知识。虽然目前有各种前端语言，像Vue, React, Angular等等，样式也是有sass, scss, less等等，但是浏览器的工作原理以及基础决定了我们还是要学好HTML+CSS+Javascript，才能更好地使用前端工具。

今天我们来介绍下如何用React编写可视化图表。为什么我们还要学习React？因为轻量化，像antv可视化图表就全部用的React语言，虽然ant也出了个viser（支持React/Vue/Angular 3种前端语言），但是图表没有antv完整，文档也不太清楚。

用炫酷的数据科学方法为大家演示中国近三千年人口的变化和经济的发展，Ofter也是从中学习到了很多：有哪些免费的公开数据平台，可供学习和下载？网上收集来的数据有缺失，该如何处理？如何制作一个炫酷、实用、清晰的可视化图表？中国哪些年代的人口比较少，哪些朝代的经济发展得比较好...

Ofter分享一个独家出品的集动态数据，实用，炫酷的可视化大屏，非常值得学习。动态数据：API接口获取(如股票、天气、今日热搜等)；素材丰富：含动图、装饰、动态排序、多图表联合共享数据集；全屏及链接：点击标题就可全屏，点击股票可查看大图，点击热搜可查看具体新闻。

在部署项目前，安装和连接数据库是最基本的，不知怎的，这第一步就经常出现各种各样的问题，导致部署工作太折腾，有时候鼓捣鼓捣突然就好了，搞得莫名其妙。今天OF完整地记录下安装和连接步骤，以及遇到的坑和解决方法。

网上有很多比较复杂（需要执行各种各样的命令）还不完整的教程，今天OF将完整地讲解如何用vue做一张好看的可视化大屏。只要大家按照步骤操作下来，你也能实现自己的可视化项目。

OF之前介绍了用python实现数据可视化、数据分析及一些小项目，但基本都是后端的知识。想要做一个好看的小系统，我们还要学一些前端的知识，今天OF将讲解如何用pycharm（全栈开发不错的工具）做一张好看的网页，以后我们就可以自己开发网页/网站放到互联网上。

阅读本文大约需要2分钟，但很有意思摘 要在工作过程中，OF经常遇到很多对接口不甚了解的客户、领导、同事、下属，每次遇到业务上涉及软硬件集成、软件系统集成的时候，都想尽办法让他们了解接口是怎么回事。无论是业务还是技术人员，如果不了解基本常识，就会犯一些让人“突发心脏病”的错误。OF在这里列几个常见的问题，看看你身边是否也有这样的现象：工作趣事1、业务人员不知道具体要哪些数据，也不知道哪里有这些数据。OF客观地来分析下，不，OF已经失去理智????????????，如果是这样的

阅读本文大约需要3分钟，但很值得摘 要最近数据分析比较火，但它是一个综合性类的学科，有一定的门槛，不是随便呈现几张数据图表就能当一个数据分析师。学习/从事数据分析，首先我们需要明白做分析这个工作的实际意义是什么？如何做好数据分析？OF认为每一个从事数据分析行业的人员都有必要进行系统性的学习，因此今天为大家带来一篇扫盲文。数据分析能干些什么数据分析主要有4个作用：描述现状、探究问题发生的原因、验证影响因素的猜想、对未来的预测。我们可以分开来分析每个单独的作用，也可以组合.

摘 要Python数据分析-房价的影响因素图解上一篇OF讲述了房价的影响因素，主要是房屋面积、卫生间数、卧室数。今天，我们通过建立模型来预测房价。机器学习中关于回归算法-数据发展的预测，包含了几个模型：1、线性回归；2、岭回归；3、Lasso回归；4、多项式回归。线性回归线性回归的公式很简单y=ax+b（a是系数，b是截距），OF借这个简单的公式来介绍下机器学习的过程。1、定义训练集、测试集；2、选择模型；3、训练模型；4、预测和推断。impor

摘 要这两年OF一直在关注房价，抛开政策、炒房等一些外部因素，对于房屋本身来说，哪些是影响房价的主要因素？OF在众多因素中挑选了几个进行分析：房屋年龄、面积、层数（1/1.5/2/2.5/...）、卧室数量、卫生间数量。首先，OF从Kaggle上下载了一份关于国外某城市的房产数据，并且经过了数据处理。那么接下来，我们主要进行数据可视化和分析，今天分析的主要目的是：1、影响房价的内部主要因素是什么？2、建立模型进行房价预测。单因素分布：直方图这不是一个很大的数据，也没有太多..

摘 要在制作动态排序动画之前，我们看一下数据的整理情况：a、对第1）种大部分数据的情况，先爬取下来，输出到excel（1）；b、对第2）种小部分数据的情况，也先爬取下来，输出到另一个excel（2）；c、对第3）种个别的，还有第31-32届的数据，算了，别折腾了，手动复制粘贴到excel（3）吧。d、最后把这3个excel合并到一个excel，进行数据处理吧。二、数据处理经过1896-2021历届奥运会奖牌榜动态排序系列的数据处理（第二篇），我们得到了a数据：...

阅读本文大约需要 3 分钟摘 要这两天在平台上看到一些创作者失去创作动力的感慨，OF只想说往事如昙花一现，我们都需要时刻静下心来，认真地考虑下自己的创作目标并付诸行动。遥想当年OF做软件系统的时候，开源社区还没有像现在这样健全。再看看如今，衷心感谢创作者们孜孜不倦地分享，建立了一个良好的创作氛围。说不定再写几年，也可以出本书啥的。主要内容：Excel 办公自动化和数据分析适用人群：办公室职员 / Python 初学者 / 有志从事数据分析工作的人员准备内容：Anacond.

阅读本文大约需要 5 分钟摘 要通过前4篇数据分析文章的讲解，本周开始OF要为大家带来数据分析的实战。实战的选材呢，OF是随机选取的，如果大家有什么想要分析的难题，可以私信沟通。本来想从网上直接下一份历届奥运会的奖牌数据进行动态呈现（包括1896-2021各届、年份、国家/地区、金牌、银牌、铜牌、合计、排名），说来也奇怪，在网上竟然找不到能满足这些条件的，最多能找到1896-2012的数据，但是也不全。没办法了，只能自己去爬虫采集数据啦，当然建议大家有现成数据的还是不要花费这时间.

问 题 ？今天，OF在为公司起名字的时候，随手写了几个字，感觉不够高大上，然后就越写越多，想试试用排列组合的方式。当文字越来越多的时候，脑子好像不够用了，组合来组合去，摸不着头脑，于是突发奇想搞个小程序，把所有的文字排列组合出来，我就看结果挑选。正好今天是周末，OF就想着也写点简单、有意思、有点小目标的程序，解决生活中的一些困扰，与君同乐。思 路 ⭐对于一个初学小白来说，编程最重要的是思路，要编写一个排列组合的小程序，我们需要先列一下功能需求点：1、文字写在程序上，或从exce...

阅读本文大约需要 3 分钟摘 要不要把生命献给平庸低俗，工作应该是快乐的，如果你不喜欢，就放下，无所谓的。经历了2020-2021年的这些时光，OF越来越希望将自己的时间用在喜欢的事上，比如分享这些可能毫不起眼的数据分析知识，哪怕是有一位读者能够被我们的上进态度所激励，或者能学到一个知识点，OF都会心满意足。言归正传，经过了01-03这3篇文章的积累，相信大家对Python数据分析也有了一定的认知，今天OF向大家介绍轻松学Python数据分析系列的第4部分：数据可视化图表（1读取.

阅读本文大约需要 3 分钟摘 要经过一周的洗礼，不要跟我提七夕，单身也很快乐，这只是一个平常的周末。上班、加班、休息的各位，让我们花2分钟时间给自己充充电，梳理下数据分析流程吧。数据分析包含数据采集->数据存储->数据处理->输出结果（如下图）。今天OF向大家介绍轻松学Python数据分析系列的第3部分：数据处理（开源数据集->数据存储csv/excel->数据清洗）。主要内容：Excel 办公自动化和数据分析 适用人群：办公室职员 / Pytho.

阅读本文大约需要 5 分钟 主要内容：Excel 办公自动化和数据分析 适用人群：办公室职员 / Python 初学者 / 有志从事数据分析工作的人员 准备内容：Anaconda-Spyder，Pandas库 不会安装库的可以参考如下教程：Anaconda如何安装Python库摘 要网上、书上已经有很多关于数据分析的教程，但是OF抱着把数据分析讲得最完整、最简单和最实用的使命感，让大家真正掌握Pandas，并将其运用得炉火纯青。1、Pandas的数据..

阅读本文大约需要 5 分钟Officetouch：办公如此轻松 主要内容：Excel 办公自动化和数据分析 适用人群：办公室职员 / Python 初学者 / 有志从事数据分析工作的人员 准备内容：Anaconda-Spyder，Pandas库 不会安装库的可以参考如下教程：Anaconda如何安装Python库摘 要学习Python，我们一定要了解Pandas这个数据分析库，生态完整、功能强大。很多人将其称为编程界的Excel，但OF认为这种称呼太

阅读本文大约需要2分钟Officetouch：办公如此轻松主要内容：Excel办公自动化适用人群：Python初学者，办公室人员，或有志从事数据分析工作的人员准备内容：Anaconda摘要今天Officetouch为大家带来关于Python办公自动化入门的知识。不知大家有没有遇到过这样的问题：需要把Excel同类项的内容进行合并（比如上图左边“工号”相同的角色合并成右边这样用逗号隔开），我们可以在Excel上安装Power Query/Power Pivot插件来解决，但.

阅读本文大约需要3分钟Officetouch：办公如此轻松主要内容：数据分析、服务器部署适用人群：Python初学者，数据分析师，或有志从事数据分析工作的人员准备内容：云服务器、Pycharm经过Python大屏看板3个的教程，相信大家都能独立完成大屏看板的绘制，为了让更多人看到我们的成果，今天Officetouch将教大家把成果部署到云服务器上。虽然云虚拟主机更适合初学者部署这种静态文件，但是咱们是抱着学习的态度，为了给以后的项目部署打基础，我们用性价比超高的轻量级应用服务.

阅读本文大约需要3分钟主要内容：数据分析。适用人群：Python初学者，数据分析师，或有志从事数据分析工作的人员。准备软件：Anaconda（Spyder：代码编译）、Navicat Premium 12（数据库）。从事IT项目管理这么多年，基本上已经遗弃编程技能，但从2019年开始接触Python，深深地迷上了这门语言，像硬件集成、数据分析，我都会用python来写。晓风想通过本文，让初学者们学会以下内容：1、Pyecharts图表；2、连接数据库；3、大屏看板-监控中

阅读本文大约需要3分钟主要内容：数据分析。适用人群：Python初学者，数据分析师，或有志从事数据分析工作的人员。准备软件：Anaconda（Spyder：代码编译）、Navicat Premium 12（数据库）。此图来自于网络，侵删从事IT项目管理这么多年，基本上已经遗弃编程技能，但从2019年开始接触Python，深深地迷上了这门语言，像硬件集成、数据分析，我都会用python来写。晓风想通过本文，让初学者们学会以下内容：1、Pyecharts图表；...

阅读本文大约需要3分钟主要内容：数据分析。适用人群：Python初学者，数据分析师，或有志从事数据分析工作的人员。准备软件：Anaconda（Spyder：代码编译）、Navicat Premium 12（数据库）。从事IT项目管理这么多年，基本上已经遗弃编程技能，但从2019年开始接触Python，深深地迷上了这门语言，像硬件集成、数据分析，我都会用python来写。晓风想通过本文，让初学者们学会以下内容：1、Pyecharts图表；2、连接数据库；3、大屏看板-监控中

阅读本文大约需要2分钟截至2018年，IMDB（互联网电影数据库）已收录电影470+万，该平台有一个特色的top250电影排名。为了保证排名的权威性，确保用户对平台的信任度，IMDB在推荐机制上花了不少精力。作为产品/项目经理，你是否有考虑过如何保证产品的权威性，增强用户粘度？现在开始，不妨将智能化的推荐机制加入到你的产品/项目中。XX年XX月XX日 IMDB Top10电影：IMDB Top250的排名算法（贝叶斯平均算法）结合了贝叶斯分类算法和加权平均的思想。其实简单剖...