大数据技术杂谈

什么是湖仓一体？湖仓一体平台架构方案

元数据管理“灵魂”三问——元数据是什么，有什么用，又该怎么管？

欢迎关注金子说数据～今天和大家聊聊数据管理组织这点事，一起看看企业的数据管理组织如何设定，以及如何才能发挥数据管理组织价值

DAMA数据管理知识体系是国际数据管理协会组织专家对30多年数据管理领域知识和实践的总结，是一部综合了数据管理方方面面具有权威性的基础工具书，最新版为2017年出版的《DAMA-DMBOK: Data Management Body ofKnowledge (2nd Edition)》，中文版为《DAMA数据管理知识体系指南（第2版）》。......

到底什么才是数据资产？虽然目前业界已经有了较为统一的定义，即：由个人或企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源。但仁者见仁，智者见智。有人说所有数据都是数据资产，也有人说只有标签或指标才是数据资产，本篇主要跟大家聊聊金子眼中的数据资产。...

本篇主要对数据平台、数据治理、数据仓库、数据中台几个我们在数据类项目中经常混淆的概念做一个澄清。

本篇主要对数据平台、数据治理、数据仓库、数据中台几个我们在数据类项目中经常混淆的概念做一个澄清。

数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容，主要包含：元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。元数据管理元数据管理主要涉及元数据分类、元数据管理成熟度评估、元数据管理系统架构、元数据管理价值四部分内容。其中：元数据分类主要分为技术元数据、业务元数据、管理元数据；元数据管理成熟度评估主要将元数据管理分为初始状态、从属于业务系统、元数据统一存储、元数据集中管理、元数据驱动管理、元数据管理自动化五个阶段；元数据管理系统架构主要涉及元

指导思想坚持“创新、协调、绿色、开放、共享”的发展理念； 坚持以人民为中心的发展思想； 加快推进政务信息系统整合和政务信息资源共享开放，促进政务信息资源优化配置和政务部门间业务协同，提升政府治理能力和公共服务水平，以最大程度利企便民，让企业群众少跑腿、好办事、不添堵；主要任务（1）开展政务信息系统清理与整合开展政务信息系统自查，包括：信息系统数量、名称、功能、使用范围、使用频率、审批部门、审批时间、经费来源 开展信息系统专项审计 开展信息系统清理和整合。一方面，对“僵尸”信息系统进行清

元数据管理的核心功能如下：元数据采集：在操作方式上分为自动采集和手动采集两种，自动采集：定义自动的、定时的采集任务。采集任务为自动调度的工作单元，为元数据的采集提供自动化的、周期性的，或指定某个时间触发的机制。支持通过界面来维护任务，如查询、新增、修改、删除，可以配置任务自动执行的时间、状态。 手动采集：手动采集是指选择本地文件上传到服务器来手动采集元数据。相对于自动采集，手动采集功能属于手工方式实时采集保存在本地文件中的元数据信息，如保存在excel文件中的元数据。...

产业链：2017年产业链发展：1. 数据服务平台提供商：直接面对行业客户，向他们提供其所拥有的外部数据（往往本身就拥有海量的2C数据入口，可以源源不断地生产2C数据）的粗加工产品（如用户的标签数据等）；2. 数据解决方案提供商：基本使用用户自身的数据，通过数据处理服务，为行业客户提供某个方向的解决方案；以上两个角色之间基本没有合作、没有交集，很少在市场上直接竞争，原因：1. 市场成熟度：目前行业应...

区块链是比特币的底层技术，它本质上是一种去中心化的分布式账本技术。英国政府在其于2016年年初发布的报告《区块链：分布式账本技术》中指出：“区块链是数据库的一种。它拥有大量的记录，并将这些记录全部存在区块内（而非整理在一页纸或表格中）。每个区块通过使用加密签名，连接到下一个区块。人们可以像使用账本一样使用区块链，可以共享，也可以被拥有适当权限的人查阅。”我国工信部在2016年发布的《中国区

参考：http://blog.csdn.net/flyingfishmark/article/details/51251534爬取前我们先看一下我们的目标：1.抓取糗事百科热门段子2.过滤带有图片的段子3.段子的发布人，段子内容，好笑数，评论数# -*- coding: utf-8 -*-import urllib2import re

http://blog.csdn.net/flyingfishmark/article/category/6194504http://www.cnblogs.com/jixin/p/5121886.htmlhttps://zhuanlan.zhihu.com/p/22390905

# -*- coding: utf-8 -*-import urllib2, stringdef baidu_tieba(url, begin_page, end_page):    for i in range(begin_page, end_page+1):        sName = string.zfill(i,5)+'.html'#返回一个六位数字的html文件

问题描述：python代码：import urllib2  response = urllib2.urlopen('http://www.baidu.com/')  html = response.read()  print html   报错如下：Traceback (most recent call last):  File "", line 1

新建Python工程时，提示如下错误：Project interpreter not specified，（见图一）。开始我以为是插件安装有问题，后来查了蛮久才发现是没有导入Python的开发环境导致的。      知道原因了解决就很简单了：      0、当然你的系统必须已经安装了Python的安装环境，这是必须的哦，因为Eclipse仅仅是提供一个IDE而已，并不提供各

[root@racdb1 11.2.0]# sh root.sh Running Oracle 11g root.sh script...The following environment variables are set as:    ORACLE_OWNER= grid    ORACLE_HOME=  /u01/app/grid/11.2.0