2017年10月_36大数据

原创基于Python的Grib数据可视化

作者：kallan 利用Python语言实现Grib数据可视化主要依靠三个库——pygrib、numpy和matplotlib。pygrib是欧洲中期天气预报中心(ECMWF)的GRIG API C库的Python接口，通过这个库可以将Grib数据读取出来；numpy是Python的一种开源的数值计算扩展，这种工具可用来存储和处理大型矩阵；matplotlib是python著名的绘图库，它提供了

2017-10-31 09:06:51 4917 1

转载如果有人问你什么是大数据？不妨说说这10个典型的大数据案例

在听Gartner的分析师Doug Laney用55分钟讲述55个大数据应用案例之前，你可能对于大数据是否落地还心存疑虑。Laney的演讲如同莎士比亚的全集一样，不过可能“缺乏娱乐性而更具信息量”（也许对于技术人员来说是这样的）。这个演讲是对大数据3v特性的全面阐释：variety（类型）、velocity（产生速度）和volume（规模）。术语的发明者就是用这种方式来描述大数据的 – 可以追溯到

2017-10-31 00:00:00 4619 1

原创利用 ELK系统分析Nginx日志并对数据进行可视化展示

作者：飞走不可一、写在前面结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录。（关于elk权限控制，我所了解的还有一种方式－Shi

2017-10-30 16:46:19 853

原创使用sklearn进行数据挖掘

作者：jasonfreak1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在《使用sklearn做单机特征工程》中，我们最后留下了一些疑问：特征处理类都有三个方法fit、transform和fit_transform，fit方法居然和模型训练方法fit同

2017-10-30 16:05:38 851

转载什么是数据科学？数据科学的基本内容

作者：鄂维南什么是数据科学？它和已有的信息科学、统计学、机器学习等学科有什么不同？作为一门新兴的学科，数据科学依赖两个因素：一是数据的广泛性和多样性；二是数据研究的共性。现代社会的各行各业都充满了数据，这些数据的类型多种多样，不仅包括传统的结构化数据，也包括网页、文本、图像、视频、语音等非结构化数据。数据分析本质上都是在解反问题，而且通常是随机模型的反问题，因此对它们的研究有很多共性。

2017-10-28 00:00:00 34798

转载干货 | 想学数据分析不知道该读什么书、从哪本读，翻遍专业知识类网站最全的整理！

作为一名工作两年的产品新人，想学一些数据分析的知识，推荐的书多又杂，并且没有一个阅读顺序，实在是不知道该怎么办才好。整理了各大网站关于学习数据分析的文章，整理如下，希望把这篇文章分享给处于和我一样想学数据分析不知该从何入门的小伙伴们一起学习。也希望可以收到别人对我这种小公司产品新人的建议或处于相同阶段的小伙伴们的交流。因工作原因要学习一些数据的知识，从人人都是产品经理网站上并没有找到

2017-10-28 00:00:00 2550

原创商机 | 大数据/政务云采购清单招标6起，最高招标价为280万（10.25-10.27）

文 | 36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共7起，最高成交价为296万二、政府、企事业单位大数据/政务云招标清单一共6起，最高招标价为280万【招标】【43.91万】北京工商大学科研基地建设-重点实验室-食品安全大数据技术北京市重点实验室采购单位：北京工商大学联系人：蔡轩联系方式：010-8237670

2017-10-28 00:00:00 587

转载一文读懂深度学习与机器学习的差异

作者：oschina如果你经常想让自己弄清楚机器学习和深度学习的区别，阅读该文章，我将用通俗易懂的语言为你介绍他们之间的差别。机器学习和深度学习变得越来越火。突然之间，不管是了解的还是不了解的，所有人都在谈论机器学习和深度学习。无论你是否主动关注过数据科学，你应该已经听说过这两个名词了。为了展示他们的火热程度，我在 Google trend 上搜索了这些关键字：如果

2017-10-27 00:00:00 583

原创数据可视化之美：经典案例与实践解析

作者：jihong10102006随着DT时代的到来，传统的统计图表很难对复杂数据进行直观地展示。这几年数据可视化作为一个新研究领域也变得越来越火。成功的可视化，如果做得漂亮，虽表面简单却富含深意，可以让观测者一眼就能洞察事实并产生新的理解。可视化(visualization)和可视效果(visual)两个词是等价的，表示所有结构化的信息表现方式，包括图形、图表、示意图、地图、故事情节图以及不是

2017-10-26 16:34:38 2290

原创遇见大数据可视化：那些 WOW 的数据可视化案例

数据可视化的内涵并非只是专业人员才能看得的懂的图表，当你想要通过数据来宣传证明自己时，你遇到的问题是大多数人并不能看懂你的图表。那么让数据可视化的过程更加的生动有趣、通俗易懂就显的尤为重要了。如何才能让数据可视化在面向普罗大众更容易接受和理解，甚至产生WOW的感觉呢？下面我试着通过一些具体的数据可视化案例来说明。U.S. Gun Deaths“U.S. Gun Deaths”是之前系列文章

2017-10-25 13:57:14 1764

原创商机 | 大数据/政务云采购清单招标7起，最高招标价为2350万（10.21-10.24）

文 | 36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共6起，最高成交价为163.4万二、政府、企事业单位大数据/政务云招标清单一共7起，最高招标价为2350万【招标】【2350万】天津市公安局云计算服务平台（大数据部分）项目采购单位：天津市公安局科技信息化处联系人：王永锋联系方式： 022-24538319

2017-10-25 00:00:00 535

原创大数据早报：Google向化学家开放量子计算机科学家将机器学习技术用于地震预测（10.25）

数据早知道，上36dsj看早报!来源36大数据，作者：奥兰多『谷歌』Google向化学家开放量子计算机Google 此前已经发布了一些开源且免费使用的软件，方便化学家和材料学家通过访问量子计算机来推动行业的发展。在和 Rigetti Computing 其他机构的合作推动下，Google 共同成立了OpenFermion，在量子计算机运行电子框架计算提供全新的

2017-10-25 00:00:00 1007

转载可视化不确定网络的概率图布局方法

文 | Lijing Lin不确定网络，在本文表示顶点是确定的(certain)，边的存在与否满足某种概率分布的网络。在图1中，左图是确定网络(certain graph)，右图是不确定网络(uncertain graph)。在不确定网络可视分析中，现有的方法往往直接在确定图(exact graph)中用视觉变量(visual variables)表示不确定信息。这些方法可

2017-10-25 00:00:00 628

转载怎样在初创公司里搭建稳定、可访问的数据基础架构

数据是创立Asana的核心部分，并且每一个团队都依赖他们自己的方式。我们的负责增长的团队依靠事件数据来分析试验结果（对比试验）。我们做很多快速的实验–通常会有很多实验一起跑– 让这些互相影响的作用和其他关键度量引导我们需要放弃什么和投入什么。项目经理，设计师和产品工程师通过分析使用数据来发现不可避免的妥协，比如简洁性对强大性。通过这种方法，我们可以知道什么样的新产品方向能够释放出最多

2017-10-24 00:00:00 1089

转载大数据早报：思科拟收购机器学习初创企业谷歌推出 AVA 数据库（10.24）

数据早知道，上36dsj看早报！来源36大数据，作者：奥兰多『思科』思科拟收购机器学习初创企业支持AppDynamics业务思科日前宣布，该公司计划收购机器学习和数据初创企业Perspica，以此支持旗下的AppDynamics业务。AppDynamics是思科今年1月花费37亿美元收购的软件性能管理平台。按照计划，Perspica

2017-10-24 00:00:00 1497

原创初创公司必须发掘大数据潜力的四大理由再不注重大数据就晚了

随着物联网在世界各地渗透，大数据、数据计算和数据管理浮现在科技领域的最前沿。数据无处不在，以万亿度量。对数据湖的正确分析有助于企业做出明确的决定，从而提高生产率，进而刺激投资回报率快速增长。原文作者：Shraddha Tewari，本文由36大数据翻译组-Teradata数据分析见习顾问惠慧。任何不表明来源36大数据及本文链接http://www.36dsj.com/arc

2017-10-24 00:00:00 2311

原创大数据早报：亚马逊最大风力发电站投入使用 MongoDB上市首日股价飙涨34%（10.21）

数据早知道，上36dsj看早报！来源36大数据，作者：奥兰多『IBM』IBM 忘记续域名导致云服务出现问题IBM 的负载均衡和反向 DNS 服务器上个月发生了长达 21 小时的故障，蓝色巨人一开始将这起故障归罪于它正转移部分域名的第三方域名注册商，称注册商意外将域名设置为“保留状态”阻止了域名转移。现在 IBM 公布了事故报告，称原因是多个域名过期没有及时更新。

2017-10-21 00:00:00 438

原创商机 | 大数据/政务云采购清单招标5起，最高招标价为713万（10.18-10.20）

文 | 36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共8起，最高成交价为5858万二、政府、企事业单位大数据/政务云招标清单一共5起，最高招标价为713万【招标】【20万】深圳市大数据研究院高性能计算服务器（双路）采购项目采购单位：深圳市大数据研究院联系人：赵佩仪联系方式：0755-25941127-805项

2017-10-21 00:00:00 366

转载 Python 开发者的 6 个必备库

无论你是正在使用 Python 进行快速开发，还是在为 Python 桌面应用制作原生 UI ，或者是在优化现有的 Python 代码，以下这些 Python 项目都是应该使用的。Python 凭借其易用的特点，已经被工业界和学术界广泛采用。另一方面，Python 丰富的第三方项目——库、附加组件，和辅助的开发成果——使得 Python 语言的应用范围被不断扩大。其中一

2017-10-21 00:00:00 556

原创 AlexNet 网络详解及Tensorflow实现源码

作者：行动派Xdpie1. 图片数据处理一张图片是由一个个像素组成，每个像素的颜色常常用RGB、HSB、CYMK、RGBA等颜色值来表示，每个颜色值的取值范围不一样，但都代表了一个像素点数据信息。对图片的数据处理过程中，RGB使用得最多，RGB表示红绿蓝三通道色，取值范围为0~255，所以一个像素点可以把它看作是一个三维数组，即：array([[[0, 255, 255]]])，三个数值分

2017-10-20 14:25:09 24158 11

原创用区块链做网络身份证，能让上网更方便更安全吗

据TechCrunch报道，通常来说，身份是很难丢失的东西。但当我（本文作者尼克·米兰诺维奇(Nik Milanovic)，金融科技狂热者）今年早些时候徒步穿越亚洲和非洲时护照被盗后，我体验到了身份失窃带来的一系列后果。获得新护照的繁文缛节让我看到了当今身份管理系统究竟有多么糟糕！幸运的是，技术正处于身份认同领域发生重大转变的风口浪尖上。区块链技术（Blockchain）将为这个领域带来革命性

2017-10-20 13:51:46 542

原创【漫谈数据仓库】如何优雅地设计数据分层

一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层！其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。各种重复计算，严重浪费了

2017-10-20 10:55:33 9120 2

原创大数据前景分析：Hadoop将被Spark替代？

谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。他们究竟是危言耸听?哗众取宠?还是眼光独到堪破未来呢?与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该从哪一种开始呢?(1)先说二者之间的区别吧。首先，Hadoop与Spar

2017-10-20 10:13:47 317

原创从事大数据征信行业，你必须知道这些

征信行业历史起源征信机构始于19世纪30年代的美国。雏形是一些商业调研机构，服务民间或银行借贷业务，获取信息途径通过招募些调研人员去街巷走访，然后逐渐形成规模及规范化。作为起源之地，美国有3大征信机构都有百年历史，例如全国性3大个人征信机构益博睿、艾荃法克斯、环联。3大征信机构数据源95%相同、覆盖90%美国人。可以看出美国的征信数据覆盖率是非常广的。其征信服务覆盖行业也非常多。在美国

2017-10-20 09:16:15 3953

原创深入分析一款简单的Github信息泄露爬虫

作者：grt1stnull0×01.前言Github作为一个代码托管平台，有着海量的开源代码和许多开发者。在代码上传时，有些开发者缺乏安全意识，会在不经意间泄露自己的密码或者密钥。本文以这里为切入点，介绍一个检索代码信息的小爬虫以及在写爬虫时的一些奇技淫巧。0×02.github信息泄露正如前言所述，缺乏安全意识的开发者会造成这个问题。不止web路径下的.git目录会泄露信息，在托

2017-10-20 09:15:58 4996

原创「大数据」这词不火了是不是因为没当年说的那么大

10月19日消息，国外媒体Slate刊文指出，“大数据(Big Data)”一词已经变得没有以往那么红火了，为什么会这样呢?“大数据”的问题并不在于数据或者大数据本身很糟糕，而是在于盲目迷恋数据，不加批判地使用，那会引发灾难。数据也不一定完全反映你想要了解的事情的实际情况。以下是文章主要内容：5年前——2012年2月——《纽约时报》刊文高呼人类的一个新纪元的到来：“大数据时代”

2017-10-20 08:59:32 496

原创大数据早报：瑞典用数据中心供暖谷歌的AI码农写出了比真码农还有效的机器学习代码（10.20）

数据早知道，上36dsj看早报！来源36大数据，作者：奥兰多『甲骨文』甲骨文：越來越多亚太企业正受益于IaaS北京时间10月18日午间消息，根据甲骨文（Oracle）的一项全球调查，亚太地区企业从云基础设施服务中所获收益的占比在上季度大幅增长。近四分之三的受访者（74%）认为，基础设施即服务（IaaS）使企业更易于创新，较上季度增长了9%。同时，

2017-10-20 00:00:00 917

转载给初学者的深度学习简介

深度学习是计算机领域中目前非常火的话题，不仅在学术界有很多论文，在业界也有很多实际运用。本篇博客主要介绍了三种基本的深度学习的架构，并对深度学习的原理作了简单的描述。本篇文章翻译自Medium上一篇入门介绍。简介机器学习技术在当代社会已经发挥了很大的作用：从网络搜索到社交网络中的内容过滤到电子商务网站的个性化推荐，它正在快速的出现在用户的消费品中，如摄像机和智能手机。机

2017-10-20 00:00:00 433

原创如何从MongoDB迁移到MySQL？这有现成经验！

作者：小码哥最近的一个多月时间都在做数据库的迁移工作，我目前在开发的项目在上古时代是使用 MySQL 作为主要数据库的，后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB，使用了几个月的时间后，由于数据库服务非常不稳定，再加上无人看管，同时 MongoDB 本身就是无 Schema 的数据库，最后导致数据库的脏数据问题非常严重。目前团队的成员没有较为丰富的 Rails 开发经验，

2017-10-19 15:47:36 1694

原创 PostgreSQL之时间戳自动更新

作者：Mike_Zhang问题描述PostgreSQL执行Insert语句时，自动填入时间的功能可以在创建表时实现，但更新表时时间戳不会自动自动更新。在mysql中可以在创建表时定义自动更新字段，比如：create table ab ( id int, changetimestamp timestamp NOT NULL default CURRENT_T

2017-10-19 15:15:24 4503 2

原创 Nmap插件编写之MySQL写库

作者：010sec0×01 Nmap介绍Nmap是一款针对大型网络的端口扫描工具，尽管它也适用于单机扫描。在不同情况下，你可能需要隐藏扫描、越过防火墙扫描或者使用不同的协议进行扫描，比如：UDP、TCP、ICMP 等。它支持：Vanilla TCP connect 扫描、TCP SYN（半开式）扫描、TCP FIN、Xmas、或NULL（隐藏）扫描、TCP ftp代理（跳板）扫描、SYN/

2017-10-19 14:11:19 718

原创 Oracle 服务总线介绍

我们正设计一套针对电信供应商的新系统，并且锁定Oracle服务总线（OSB）作为企业服务总线。对我来说这款工具的最好的加分项就是强大的工具支持。Oracle已经将其所有企业集成软件栈集成为一个整体，将其捆绑为Oracle SOA套件。本文将把重点放在Oracle SOA套件11g的一部分，Oracle OSB 11g上。Oracle SOA Suite 12c有很大的变化。然而ORacle 12C

2017-10-19 11:12:37 1045

原创分布式数据库数据一致性原理说明与实现

前言分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”（Consistency）的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看

2017-10-19 10:46:44 325

原创重磅！SPORTRADAR收购NBA勇士队合作伙伴，体育大数据进入2.0时代

作者：郭阳科学技术是第一生产力，这句放之四海而皆准的话语，近年来在体育产业的世界里也得到了印证。今日，世界体育大数据的世界里再度传出重磅消息——全球领先的体育数据公司Sportradar US, LLC宣布，完成对MOCAP Analytics, IncP的收购。而生态圈也第一时间联系到了这两家公司，以及SPORTRADAR在中国的合作伙伴贝泰科技，来共同探讨世界体育大数据的时代命题。

2017-10-19 09:04:48 723

转载分布式数据库数据一致性原理说明与实现

前言分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。1数据一致性1.1 数据一致性是什么大部份使用传

2017-10-19 00:00:00 882

转载大数据早报：微软内部Windows漏洞数据库曾被入侵 HappyOrNot获1450万美元A轮融资（10.19）

数据早知道，上36dsj看早报!来源36大数据，作者：奥兰多『数据安全』微软内部Windows漏洞数据库曾被入侵：后果可怕作为这个星球上覆盖率最高的操作系统，Windows的一举一动都影响着大家的使用体验，对于它的安全微软也是相当重视，但是让人没有想到的是。据路透社独家报道称，微软内部拥有一个数据库，里面包含了各种Windows漏洞，有些外界已经知晓

2017-10-19 00:00:00 679

原创 Dataset基于SQLAlchemy的便利工具

作者： w2n1ck数据集使得数据库中的数据读取和写入数据就像阅读和编写JSON文件一样简单。dataset对于操作JSON、CSV文件、NoSQL非常好用。import dataset连接MySQL数据库：db = dataset.connect('mysql://username:[email protected]/ctf?charset=utf8')用户名:us

2017-10-18 17:14:09 396

原创基于YARN集群构建运行PySpark Application

作者：YanjunSpark Application可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc程序，可以运行HBase集群，也可以运行Storm集群，还可以运行使用Python开发机器学习应用程序，等等。我们知道，Spark on YARN又分为c

2017-10-18 16:24:08 3832

原创细致分析Padding Oracle渗透测试全解析

作者：Sherkey最近在研究Padding Oracle渗透测试，发现网上没有详细讲原理的文章。因此自己整理了这样一篇，希望哪怕是没有密码学基础的朋友也能看完后完全理解攻击的原理。一、基础知识介绍本节针对无密码学基础的读者，若均理解可直接跳过。1.1 什么是分组密码？以下定义来自维基百科：在密码学中，分组加密（英语：Block cipher），又称分块加密或块密码，是一种

2017-10-18 16:13:27 632

原创为什么说SQL正在击败NoSQL，这对数据的未来意味着什么？

作者：Ajay Kulkarni随着计算机的日益普及，各种应用每天产生的数据量呈指数级增长。如何存储这些数据，有效处理分析这些数据,并从中提取有价值的信息,是当下迫切需要解决的问题。在过去的十年里，NoSQL在软件工程师阵营里越来越受欢迎，其中最重要的实现是MapReduce ，Bigtable,Cassandra，MongoDB,等产品。它主要用于解决SQL的可扩展性问题。然而今天SQ

2017-10-18 15:41:25 489

空空如也

空空如也