2018年01月_大数据公社

转载 Python破解验证码，只要15分钟就够了！

让我们一起攻破世界上最流行的WordPress的验证码插件每个人都讨厌验证码——在你被允许访问一个网站之前，你总被要求输入那些烦人的图像中所包含的文本。验证码被设计成，以验证你是一个真正的人的方式，来防止电脑自动填写表单。但是随着深度学习和计算机视觉的兴起，它们现在往往很容易被攻破。我在读Adrian Rosebrock的优秀的著作《Python计算机视觉深度学习》。在书中，Adrian简单地描述

2018-01-31 00:00:00 11649 1

转载揭秘浙商银行IT新架构及区块链应用

编者按：互联网金融”和“金融科技”面临非常态发展，数字化持续激发银行的创新与活力。同时随着《中国银行业信息科技“十三五”发展规划监管指导意见 (征求意见稿)》的发布，实施创新驱动发展战略、强化科技创新引领作用已成为共识，信息科技在未来担负着增强创新能力、加强引领作用、提高发展质量、助推转型升级的重要使命。为此，浙商银行提出了科技五年规划，通过“双模”、“双核”、“双库”技术架构创新实践，加快信息系

2018-01-31 00:00:00 3895

转载最壕年会！微信送每人一台高配定制版 iPhone X

近日，在腾讯微信团队内部年会上，腾讯集团高级执行副总裁兼微信事业群总裁张小龙，给微信团队 2000 名员工每人送上了一台白色顶配版 256GB 的 iPhone X。每年一度“阳光普照奖”发放苹果当年最新款手机，已经成为微信年会惯例。去年年会人手一台 iPhone 7 Plus，而前年则是 iPhone 6s。但只是普通的 iPhone 怎么能显示出东家的格调？这次送出的 iPhone X 是特别

2018-01-31 00:00:00 505

转载盘点那些让程序员目瞪口呆的Bug都有什么？

程序员一生与bug奋战，可谓是杀敌无数，见怪不怪了!在某知识社交平台中，一个“有哪些让程序员目瞪口呆的bug”的话题引来了 6700 多万的阅读，可见程序员们对这个话题的敏感度有多高。本文，笔者特意精选了部分优质答案供广大程序员参考!1、麻省理工“只能发 500 英里的邮件”该bug发生于麻省理工，当时其系统管理员接到统计系主任的求助电话，主任在电话中说：“咱们的邮件系统无法发送距离 500 英里

2018-01-31 00:00:00 3237

转载不必再费心寻找，2017最全的开发干货就在这1067页PDF里

随着深度学习的发展与飞跃，2017 年对于开发者而言注定是不平凡的一年。这一年，Facebook 发布开源框架 PyTorch，这一举措真正意义上将 Torch 移植到 Python 生态圈。背靠 Python 坚实的用户基础，PyTorch 为广大开发者们提供了一个新的选择。短短一年时间，PyTorch 为寻求建立一个灵活的深度学习研究平台而付出了自己的努力，并且也获得了令人瞩目的成绩。不可否认

2018-01-30 00:00:00 361

转载养蛙火爆，大数据解读《旅行青蛙》崛起之谜

分享朋友圈也是另一种赞赏The more we share, The more we have 欢迎加入数据君高效数据分析社区加我私人微信进入大数据干货群：tongyuannow 目前100000+人已关注加入我们

2018-01-30 00:00:00 594

转载县级城市消费力排行榜，你的家乡排第几？

消费是微观层面最能直接反映城市发展水平和活力的要素之一。在中国的城市体系中，一些县级城市的经济发展状态和商业活力甚至能超越行政级别更高的地级城市，反映出极强的城市活跃度。（文末有所有县级城市的消费力排行榜完整版）以2017年“京东帮”家电下乡服务平台覆盖的全部1983个县级城市（其中包括部分已撤市设区的县级行政单位）的家电消费数据为基础，从县级城市消费规模、消费升级潜力和高端品牌青睐程度等维度，分

2018-01-30 00:00:00 1510

转载红包外挂史及AccessibilityService分析与防御

最近在做一个有趣的外挂的小玩意，前提我们要了解一个重要的类AccessibilityService。原文地址：https://lizhaoxuan.github.io正文提起AccessibilityService，你最容易联想到的肯定是微信抢红包插件！但这个服务的设计初衷，是为了帮助残障人士可以更好的使用App。一些“调皮”的开发者利用AccessibilityService可以监控与操作其他A

2018-01-30 00:00:00 1640

转载 2017年终奖调查出炉程序员年终奖多少你绝对猜不到

0、2017 白领年终奖调查出炉程序员年终奖多少你绝对猜不到又到了年终！我们都必须面对这么一个事儿！智联招聘推出的“2017 白领年终奖调查”结果显示，2017 年全国白领年终奖总体均值为 7278 元人民币。分城市看，上海夺去了北京去年第一的地位，成为 2017 年白领年终奖均值最高的城市，达到 11913 元；宁波和北京则分列二、三位。分行业看，能源/矿产/环保行业白领的年终奖均值最高，为

2018-01-29 00:00:00 969

转载写给大数据开发初学者的话 | 附教程

导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，

2018-01-29 00:00:00 395

转载分享：17款工具，让你的数据更美观

想让数据变得更好看？不必成为经验丰富的数据科学家，也不必成为平面设计师。有一些能让数据从简单的表格变成多种多样的图形，地图甚至词“云”。并不是所有的工具都适合你，但这些工具确实很有用。希望你不仅能从中学到新的技能和极具创新的工具，更能从中结合你自己的业务有新的发现。1. Infogr.am在Infogr.am网站中，你可以使用30多种图形和6种主题创建互动和可嵌入的图表。2. Fusion Tab

2018-01-29 00:00:00 486

转载快收藏！ 30 分钟包你学会 AWK

本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ，觉得对AWK入门非常有帮助，所以对其进行了粗略的翻译，并对其中部分内容进行了删减或者补充，希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程，帮助小伙伴们快速掌握AWK的基本使用方式，当然，我也是刚开始学习AWK，本文在翻译或者补充的过程中肯定会有很多疏漏或者错误，希望大家能够帮忙指正。本文将会持续修正和更新，

2018-01-26 00:00:00 433

转载各平台的推荐算法，太贴切了！

网友整理的各大平台推荐算法！分享朋友圈也是另一种赞赏The more we share, The more we have 欢迎加入数据君高效数据分析社区加我私人微信进入大数据干货群：tongyuannow 目前100000+人已关注加入我们

2018-01-26 00:00:00 3569

转载一张图学会Python3

Python语法简单，对于学习者而言入门很容易。这不Github上一位大神就把 Python 3 的几乎所有语法重点都整理到了一张图上，对于有编程基础的小伙伴，通过这张图掌握Python的基本用法不成问题。即便你没有Python基础，这张图也能帮你掌握Python的全貌，平时走在路上随时可以翻出来记忆语法，十分方便。请点击此处输入图片描述点击查看大图由于平台会对上传文件进行压缩，图片可能不清晰。想

2018-01-26 00:00:00 2649 3

转载 500款各领域机器学习数据集,总有一个是你要找的

目录：金融交通商业推荐系统医疗健康图像数据视频数据音频数据自然语言处理社会数据处理后的科研和竞赛数据1金融美国劳工部统计局官方发布数据：http://dataju.cn/Dataju/web/datasetInstanceDetail/139沪深股票除权除息、配股增发全量数据，截止 2016.12.31 http://dataju.cn/Dataju/web/datasetInstanceDeta

2018-01-26 00:00:00 1384

转载教你用Java来玩答题(百万英雄/冲刺大会等)

重要更新详见 https://github.com/lingfengsan/MillionHero目前已经增加百度OCR，具体使用常见问题游戏模式常见问题 https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2Flingfengsan%2FMillionHero%2Fwiki%2FFAQ游戏模式一共12道题，全部答对就可以平分奖金。如果

2018-01-25 00:00:00 3280

转载用Python做跳一跳外挂太浪费了，这种技能让你目瞪口呆

小编现在每天思考最多的问题就是到底什么时候能发财啊！！！再看看每个月工资卡里的钱真的是只能以45度角仰望天空一直以来，年底都是离职的高峰期嗑着瓜子，刷着51job 学习Python也有几个月了，该考虑换工作啦，看了眼招聘网站，就像这样~信息玲琅满目不知该怎么办了，这时候，我想到了Python爬虫，如果能把信息都下载下来，可以随时随地的分析，这样一定可以找到称心如意的工作一、准备工作语言：

2018-01-25 00:00:00 5600

转载如何在Python中快速进行语料库搜索：近似最近邻算法

最近，我一直在研究在 GloVe 词嵌入中做加减法。例如，我们可以把「king」的词嵌入向量减去「man」的词嵌入向量，随后加入「woman」的词嵌入得到一个结果向量。随后，如果我们有这些词嵌入对应的语料库，那么我们可以通过搜索找到最相似的嵌入并检索相应的词。如果我们做了这样的查询，我们会得到：King + (Woman - Man) = Queen我们有很多方法来搜索语料库中词嵌入对作为最近邻查

2018-01-25 00:00:00 1971 1

转载白话AI：看懂深度学习真的那么难吗？初中数学，就用10分钟

如果在这个人工智能的时代，作为一个有理想抱负的程序员，或者学生、爱好者，不懂深度学习这个超热的话题，似乎已经跟时代脱节了。但是，深度学习对数学的要求，包括微积分、线性代数和概率论与数理统计等，让大部分的有理想抱负青年踟蹰前行。那么问题来了，理解深度学习，到底需不需要这些知识？关于深度学习，网上的资料很多，不过大部分都不太适合初学者。杨老师总结了几个原因：深度学习确实需要一定的数学基础。如果不用深入

2018-01-24 00:00:00 64170 11

转载中国癌症大数据出来了！每年126万例癌症死亡本可避免

01 中国本土大样本数据：癌症真的可预防！2017年，由全国肿瘤登记中心副主任陈万青教授、美国癌症协会Farhad Islami教授牵头的生活方式和感染对中国癌症发病和死亡影响的研究，发表在Annals of Oncology上[1,2]。该研究由美国癌症研究所、中国医学科学院肿瘤医院肿瘤研究所等八家机构联合参与，使用了2013年的全国肿瘤登记中心的肿瘤数据[3]，结合2002年及2006年的中国

2018-01-24 00:00:00 432

转载超全的 Linux 机器的渗透测试命令备忘表，共16表128条命令

如下是一份 Linux 机器的渗透测试备忘录，是在后期开发期间或者执行命令注入等操作时的一些典型命令，设计为测试人员进行本地枚举检查之用。系统信息命令对于本地的枚举检查很有用。基于 Redhat / CentOS / RPM 的发行版YUM 命令基于 RPM 的系统使用了包管理器, 你可以用这些命令获取到有关已安装包或者其它工具的有用信息。基于 Debian / Ubuntu / .deb 的发行

2018-01-24 00:00:00 418

转载代码传奇 | 明明可以靠颜值却用代码把人类送上了月球的女人——Margaret Hamilton

据说「软件工程师」这个名词就是她发明的玛格丽特站在阿波罗计算机指导手册 (AGC) 的源代码程序列表旁边，这些材料摞起来比她的人还要高。图片来源：Margaret Hamilton缔造传奇的人似乎有个共性：本来没想干一票大的，甚至她的打算都只是相夫教子，却“一不小心”把人类送上了月球——在 1960 年代做职场妈妈已经是件很不寻常的事，而玛格丽特竟然还是个给太空飞船写代码的程序员。可以说，没有Ma

2018-01-24 00:00:00 490

转载 Chrome 浏览器必知必会的小技巧

说明这篇文章主要介绍的就是一些chrome浏览器的小技巧，很简单，希望对大家有所帮助。这其中的一些小技巧在低版本中是没有的，所以建议大家用最新版的，目前最新版是62，版本很重要，如果发现有些技巧不起作用，请先查看浏览器的版本。快捷键快捷键比较多，这里挑出几个常用的说一下最后会给出一张比较完整的快捷键的表下列快捷键可以在所有开发者工具面板中可以使用全局快捷键windowMac打开开发者工具F1

2018-01-23 00:00:00 587

转载 Python奇技淫巧，看看你知道几个

1、isinstanceisinstance 函数可用于判断实例的类型，其实它的第二个参数可以是多个数据类型组成的元组。例如：isinstance(x, (int, float))# 等价于isinstance(x, int) or isinstance(x, float)类似的函数还有字符串的 startswith 方法和 endswith 方法，例如：s.startswith(('"""',

2018-01-23 00:00:00 353

转载资源&教程 | Python数据分析，详细的学习路径

主要学习内容包括四大部分：Python工作环境及基础语法知识了解(包括正则表达式相关知识学习);数据采集相关知识(python爬虫相关知识);数据分析学习;数据可视化学习。Python工作环境及基础语法知识了解对于Python基础语法学习部分，学习周期大概为4周，需要的相关资源在网络上都能找到免费的资源，而且质量都不错。相关中文资源如下：1.python工作集成环境包Python(x,y): ：h

2018-01-23 00:00:00 1318 2

转载最新中国一二三四五线城市排名出炉！去这些城市买房准没错！

中国城市的进化并不是只有一条确定的道路，沿着自己最擅长的轨迹，才会成为人们心中那个特别的城市。依据最新一年的160个品牌商业数据、17家互联网公司的用户行为数据和数据机构的城市大数据，第一财经·新一线城市研究所对中国338个地级以上城市再次排名。以此综合计算得到的结果是，北上广深4个一线城市的地位依然不可动摇，但15个“新一线”城市的席次有了一些改变，依次是成都、杭州、武汉、重庆、南京、天津、苏州

2018-01-22 00:00:00 613

转载 BAT人工智能生态时局图：全面战争爆发前夜

朋友圈一半在养野男人，一半在养青蛙。继受到大量女性追捧的《钱与纸片人》游戏火了之后，在朋友圈时常都能看到有人晒出什么李泽言啊，白起啊之类的游戏截图。不过这四个美男子做梦都没想到的是，同样是也是在朋友圈悄悄火起来并且将要打败他们的是一只青蛙。对，没错，就是青蛙！相信下面这张游戏截图在各位的朋友圈也开始变得很常见了，这就是最近火起来的佛系游戏《青蛙旅行》。这款游戏的玩法可以说是相当简单和随缘了，不需要

2018-01-22 00:00:00 399

转载 Python交互式数据分析报告框架~Dash介绍

原文作者：Plotly,Chris Pamer 原文链接：https://link.jianshu.com/?t=https%3A%2F%2Fmedium.com%2F%40plotlygraphs%2Fintroducing-dash-5ecf7191b503译者序：原文于2017年6月21日发布，时过半载，将这篇既不是教程，也不是新闻的产品发布稿做了一番翻译，为何？只因去年下半年的时候

2018-01-22 00:00:00 20041

转载一小时爬千万数据的新浪微博爬虫

分享一个新浪微博的爬虫，基于 Scrapy + MongoDB 实现，号称一小时可爬千万条数据。作者：LiuXingMing来源：http://blog.csdn.net/bone_ace/article/details/50903178项目地址：https://github.com/LiuXingMing/SinaSpider爬虫功能：此项目和QQ空间爬虫类似，主要爬取新浪微博用户的个人信息、微

2018-01-19 00:00:00 14114 1

转载简约而不简单的 Django 新手图文教程

来源：cizixssegmentfault.com/a/1190000008387882本文面向：有python基础，刚接触web框架的初学者。环境：windows7，python3.5.1，pycharm专业版，Django 1.10版，pip3一、Django简介百度百科：开放源代码的Web应用框架，由Python语言编写……重点：一个大而全的框架，啥都替你考虑好了。1. web框架介绍具体介

2018-01-19 00:00:00 480

转载重磅！阿里首次全面公开展示AI布局（附布局图/成绩单/六产业详解）

01 阿里首次公开展示AI布局12月20日，阿里云云栖大会·北京峰会召开，作为2017年阿里云栖大会最后一场，阿里做足了噱头，系列预热“重磅”、“史无前例”等形容词吸引眼球，本次大会诞生了一个新词：产业AI。阿里云总裁胡晓明首次全面揭幕了阿里产业AI布局和生态：以阿里云为基础，从家居、零售、出行、金融和智能城市、智能工业6大方面展开的产业布局，以及从视觉、语音、算法到芯片构建的立体合作伙伴生态。阿

2018-01-19 00:00:00 930

转载谷歌大脑2017技术研究总结 | Jeff Dean执笔（附论文 & 数据集）

本文长度为8311字，建议阅读10分钟Jeff Dean回顾了谷歌大脑团队过去一年的核心研究，以及在多个AI领域的研究进展。谷歌AI Senior Fellow、谷歌大脑负责人Jeff Dean，按照惯例，今天开始发布2017年度的谷歌大脑年度总结。在这份已经发布的总结中，Jeff Dean回顾了谷歌大脑团队过去一年的核心研究，以及在多个AI领域的研究进展。Jeff Dean还把相关研究的论文等一

2018-01-19 00:00:00 850

转载重磅 | 数据挖掘之父韩家炜：文本语料库的数据挖掘（附视频+PPT下载）

授权转载自公众号数据派THU微信ID:DatapiTHU近期，美国伊利诺伊大学厄巴纳香槟分校计算机科学Abel Bliss教授韩家炜在清华大学FIT楼多功能厅进行了关于文本语料库数据挖掘的主题分享。嘉宾简介：韩家炜，美国伊利诺伊大学香槟分校计算机系教授，IEEE和ACM院士，美国信息网络学术研究中心主任。曾担任KDD、SDM和ICDM等国际知名会议的程序委员会主席，创办了ACM TKDD学报并任

2018-01-18 00:00:00 487

转载干货汇总 | 你可能不知道的 Python Web 部署方式总结

不要让服务器裸奔学过PHP的都了解，php的正式环境部署非常简单，改几个文件就OK，用FastCgi方式也是分分钟的事情。相比起来，Python在web应用上的部署就繁杂的多，主要是工具繁多，主流服务器支持不足，在了解Python的生产环境部署方式之前，先明确一些概念！很重要！CGI：CGI即通用网关接口(Common Gateway Interface)，是外部应用程序（CGI程序）与Web服务

2018-01-18 00:00:00 924 1

转载技术人再不懂区块链，你就OUT了？漫画版

“这几天区块链技术无意中被徐小平“忽悠”的更加红火了，蹭着区块链的大火，今天小编就再给大家普及一下区块链相关知识。一幅漫画秒懂“区块链”区块链技术是指一种全民参与记账的方式。所有的系统背后都有一个数据库，你可以把数据库看成是一个大账本。目前是各自记各自的账。由于没有中心化的中介机构存在，让所有的东西都通过预先设定的程序自动运行，不仅能够大大降低成本，也能提高效率。而由于每个人都有相同的账本，能确保

2018-01-18 00:00:00 2443

转载快收藏！史上最全的 Linux Shell 文本处理工具集锦

本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；提供的例子和参数都是最常用和最为实用的；我对shell脚本使用的原则是命令单行书写，尽量不要超过2行；如果有更为复杂的任务需求，还是考虑python吧；请点击此处输入图片描述find 文件查找查找txt和pdf文件 find . ( -n

2018-01-18 00:00:00 802

转载爬取电影天堂的最新电影

以后再也不愁看什么电影了作者：猴哥Yuri博客：https://www.jianshu.com/u/f46becd1ed83文章目录爬取目标设计爬虫程序确定爬取入口爬取思路设计爬虫架构代码实现爬取结果前面两篇文章介绍 requests 和 xpath 的用法。我们推崇学以致用，所以本文讲解利用这两个工具进行实战。0爬取目标本次爬取的站点选择电影天堂，网址是： www.dytt8.net。爬取内容是

2018-01-17 00:00:00 4421

转载运维总监不会告诉你这些有趣但鲜为人知的 Linux 命令

在这篇文章中和 Carla Schroder 一起探索 Linux 中的一些鲜为人知的强大工具。本文是一篇关于一些有趣但鲜为人知的工具 termsaver、pv 和 calendar 的文章。termsaver 是一个终端 ASCII 屏保，pv能够测量数据吞吐量并模拟输入。Debian 的 calendar 拥有许多不同的日历，并且你还可以制定你自己的日历。工具1：终端屏保难道只有图形桌面能够拥

2018-01-17 00:00:00 389

转载 2017新浪微整形年度大数据报告

第一章疾风迅雷导语：中国医疗美容行业连续几年保持着大幅度的增长，不仅关注医美的人群日趋壮大，人们对于医美的消费投入也在稳步增加，并保持着强劲的增长势头！1、中国已超越巴西成为全球第二大整形国导语：2017年，中国医疗美容总量超过1000万例，复合增速达40%以上。世界银行报告显示，国民人均收入超2000美元，人们对于医美需求将以每年10%的速度递增，中国人均收入已超8000美元，医美需求必然会

2018-01-17 00:00:00 6188

转载实战 | 用 Python 选股票，据说可以多挣个20%

本文将使用Python来可视化股票数据，比如绘制K线图，并且探究各项指标的含义和关系，最后使用移动平均线方法初探投资策略。数据导入这里将股票数据存储在stockData.txt文本文件中，我们使用pandas.read_table()函数将文件数据读入成DataFrame格式。其中参数usecols=range(15)限制只读取前15列数据，parse_dates=[0]表示将第一列数据解析成时间

2018-01-17 00:00:00 7140 4

空空如也

空空如也