大数据技术杂谈

数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容，主要包含：元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。元数据管理元数据管理主要涉及元数据分类、元数据管理成熟度评估、元数据管理系统架构、元数据管理价值四部分内容。其中：元数据分类主要分为技术元数据、业务元数据、管理元数据；元数据管理成熟度评估主要将元数据管理分为初始状态、从属于业务系统、元数据统一存储、元数据集中管理、元数据驱动管理、元数据管理自动化五个阶段；元数据管理系统架构主要涉及元

指导思想坚持“创新、协调、绿色、开放、共享”的发展理念； 坚持以人民为中心的发展思想； 加快推进政务信息系统整合和政务信息资源共享开放，促进政务信息资源优化配置和政务部门间业务协同，提升政府治理能力和公共服务水平，以最大程度利企便民，让企业群众少跑腿、好办事、不添堵；主要任务（1）开展政务信息系统清理与整合开展政务信息系统自查，包括：信息系统数量、名称、功能、使用范围、使用频率、审批部门、审批时间、经费来源 开展信息系统专项审计 开展信息系统清理和整合。一方面，对“僵尸”信息系统进行清

元数据管理的核心功能如下：元数据采集：在操作方式上分为自动采集和手动采集两种，自动采集：定义自动的、定时的采集任务。采集任务为自动调度的工作单元，为元数据的采集提供自动化的、周期性的，或指定某个时间触发的机制。支持通过界面来维护任务，如查询、新增、修改、删除，可以配置任务自动执行的时间、状态。 手动采集：手动采集是指选择本地文件上传到服务器来手动采集元数据。相对于自动采集，手动采集功能属于手工方式实时采集保存在本地文件中的元数据信息，如保存在excel文件中的元数据。...

产业链：2017年产业链发展：1. 数据服务平台提供商：直接面对行业客户，向他们提供其所拥有的外部数据（往往本身就拥有海量的2C数据入口，可以源源不断地生产2C数据）的粗加工产品（如用户的标签数据等）；2. 数据解决方案提供商：基本使用用户自身的数据，通过数据处理服务，为行业客户提供某个方向的解决方案；以上两个角色之间基本没有合作、没有交集，很少在市场上直接竞争，原因：1. 市场成熟度：目前行业应...

区块链是比特币的底层技术，它本质上是一种去中心化的分布式账本技术。英国政府在其于2016年年初发布的报告《区块链：分布式账本技术》中指出：“区块链是数据库的一种。它拥有大量的记录，并将这些记录全部存在区块内（而非整理在一页纸或表格中）。每个区块通过使用加密签名，连接到下一个区块。人们可以像使用账本一样使用区块链，可以共享，也可以被拥有适当权限的人查阅。”我国工信部在2016年发布的《中国区

参考：http://blog.csdn.net/flyingfishmark/article/details/51251534爬取前我们先看一下我们的目标：1.抓取糗事百科热门段子2.过滤带有图片的段子3.段子的发布人，段子内容，好笑数，评论数# -*- coding: utf-8 -*-import urllib2import re

http://blog.csdn.net/flyingfishmark/article/category/6194504http://www.cnblogs.com/jixin/p/5121886.htmlhttps://zhuanlan.zhihu.com/p/22390905

# -*- coding: utf-8 -*-import urllib2, stringdef baidu_tieba(url, begin_page, end_page):    for i in range(begin_page, end_page+1):        sName = string.zfill(i,5)+'.html'#返回一个六位数字的html文件

问题描述：python代码：import urllib2  response = urllib2.urlopen('http://www.baidu.com/')  html = response.read()  print html   报错如下：Traceback (most recent call last):  File "", line 1

新建Python工程时，提示如下错误：Project interpreter not specified，（见图一）。开始我以为是插件安装有问题，后来查了蛮久才发现是没有导入Python的开发环境导致的。      知道原因了解决就很简单了：      0、当然你的系统必须已经安装了Python的安装环境，这是必须的哦，因为Eclipse仅仅是提供一个IDE而已，并不提供各

[root@racdb1 11.2.0]# sh root.sh Running Oracle 11g root.sh script...The following environment variables are set as:    ORACLE_OWNER= grid    ORACLE_HOME=  /u01/app/grid/11.2.0

在CentOS 6.5 X86_64上安装11.2.0.1 的RAC，在安装grid时执行root.sh 脚本，报错，如下：CRS-4124: Oracle High Availability Services startup failed.CRS-4000: Command Start failed, or completed with errors.ohasd failed to

在OEL 6.3上搭建一台11G的RAC测试环境，在最后执行root.sh脚本的时候遇到libcap.so.1: cannot open shared object file: No such file or directory 错误。[root@racdb1 11.2.0]# sh root.sh Running Oracle 11g root.sh script...The

参考：http://www.aboutyun.com/thread-20755-1-1.html

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20705公安行业存在数以万计的前后端设备，前端设备包括相机、检测器及感应器，后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统，数量巨大、种类繁多的设备给公安内部运维管理带来了巨大挑战。传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20701背景公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的时候，采取的办法比较原始：直接通过log4j打印到日志文件，然后通过抽数工具同步到hive中，每天凌晨同步前一

1. ELK 系统是如何进行架构的？2. 为什么ELK 在 Spark 集群中是高可用性构架？3. ELK 可以监控 Spark 集群的哪些性能？4. ELK 可以监控 Spark 集群的哪些作业？解决方案：概述大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病

问题导读：1、IT系统信息化平台涉及内容有什么？2、数据集成架构模型包括哪些部分？3、业务系统部署实现功能有什么？4、数据仓库建设应考虑的内容有哪些？5、未来大数据应用如何扩展？随着技术的发展，IT逐渐面临越来越多的挑战，尤其是数据治理方面。而九州通医药集团在IT建设方面不畏艰险，自主研发ERP系统、物流系统，在解决企业自身问题的同时还创新投入商业化，为同行业提