大数据先阶段发展情况认知

产业链:2017年产业链发展:1. 数据服务平台提供商:直接面对行业客户,向他们提供其所拥有的外部数据(往往本身就拥有海量的2C数据入口,可以源源不断地生产2C数据)的粗加工产品(如用户的标签数据等);2. 数据解决方案提供商:基本使用用户自身的数据,通过数据处理服务,为行业客户提供某个方向的解决...

2018-03-19 13:54:24

阅读数 344

评论数 0

区块链概念——学习笔记

区块链是比特币的底层技术,它本质上是一种去中心化的分布式账本技术。 英国政府在其于2016年年初发布的报告《区块链:分布式账本技术》中指出:“区块链是数据库的一种。它拥有大量的记录,并将这些记录全部存在区块内(而非整理在一页纸或表格中)。每个区块通过使用加密签名,连接到下一个区块。人们可以像使用...

2018-01-05 16:48:27

阅读数 322

评论数 0

Python 爬去糗事百科内容讲解

参考:http://blog.csdn.net/flyingfishmark/article/details/51251534 爬取前我们先看一下我们的目标: 1.抓取糗事百科热门段子 2.过滤带有图片的段子 3.段子的发布人,段子内容,好笑数,评论数 #...

2017-03-02 12:24:12

阅读数 418

评论数 0

Python爬虫实战学习地址

http://blog.csdn.net/flyingfishmark/article/category/6194504 http://www.cnblogs.com/jixin/p/5121886.html https://zhuanlan.zhihu.com/p/22390905

2017-03-01 16:09:15

阅读数 480

评论数 0

简单的爬去百度贴吧小爬虫讲解

# -*- coding: utf-8 -*- import urllib2, string def baidu_tieba(url, begin_page, end_page):     for i in range(begin_page, end_page+1):       ...

2017-03-01 11:31:11

阅读数 403

评论数 0

python3引urllib2报错:Unresolved import: urllib2

问题描述: python代码: import urllib2   response = urllib2.urlopen('http://www.baidu.com/')   html = response.read()   print html    报错如下: Tr...

2017-02-20 11:46:43

阅读数 2612

评论数 0

Project interpreter not specified(eclipse+pydev)

新建Python工程时,提示如下错误:Project interpreter not specified,(见图一)。 开始我以为是插件安装有问题,后来查了蛮久才发现是没有导入Python的开发环境导致的。       知道原因了解决就很简单了:       0、当然你的系统必须...

2017-02-20 11:19:50

阅读数 299

评论数 0

linux平台11gR2 grid安装到执行root.sh时报错

[root@racdb1 11.2.0]# sh root.sh  Running Oracle 11g root.sh script... The following environment variables are set as:     ORACLE_...

2017-02-17 15:22:27

阅读数 664

评论数 0

Oracle 11g安装GI CRS-4124 解决方案

在CentOS 6.5 X86_64上安装11.2.0.1 的RAC,在安装grid时执行root.sh 脚本,报错,如下: CRS-4124: Oracle High Availability Services startup failed. CRS-4000: Command Start ...

2017-02-06 14:22:03

阅读数 582

评论数 0

ORACLE 11G GRID 安装缺少到libcap.so.1而终止的解决方法

在OEL 6.3上搭建一台11G的RAC测试环境,在最后执行root.sh脚本的时候遇到libcap.so.1: cannot open shared object file: No such file or directory 错误。 [root@racdb1 11.2.0]# sh root...

2017-02-06 12:54:28

阅读数 711

评论数 0

Spring中spring-data-redis的使用

参考:http://www.aboutyun.com/thread-20755-1-1.html

2017-01-11 12:59:35

阅读数 616

评论数 0

使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【公安大数据】

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20705 公安行业存在数以万计的前后端设备,前端设备包括相机、检测器及感应器,后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统,数量巨大、种类繁多的设...

2017-01-11 12:43:09

阅读数 8111

评论数 3

日志数据从kafka到hive是如何实现的

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20701 背景 公司的系统是一个对外提供服务的接口,每一次调用日志都需要保存到hive中,以便后期做数据分析。每天的调用量在亿级,日志数据量100G以上,在量级还没有这么大的...

2017-01-11 12:28:39

阅读数 3120

评论数 0

ELK结合Spark构建高可用架构及监控spark集群

1. ELK 系统是如何进行架构的? 2. 为什么ELK 在 Spark 集群中是高可用性构架? 3. ELK 可以监控 Spark 集群的哪些性能? 4. ELK 可以监控 Spark 集群的哪些作业? 解决方案: 概述 大数据处理技术越来越火,云计算平台也如...

2017-01-11 11:49:37

阅读数 2132

评论数 0

大数据架构师必读:医药企业大数据应用案例

问题导读: 1、IT系统信息化平台涉及内容有什么? 2、数据集成架构模型包括哪些部分? 3、业务系统部署实现功能有什么? 4、数据仓库建设应考虑的内容有哪些? 5、未来大数据应用如何扩展? 随着技术的发展,IT逐渐面临越来越多的挑战,尤其是数据治理方面。而九州通医药集团在I...

2017-01-11 11:11:47

阅读数 2243

评论数 0

大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用

问题导读: 1.  为什么要建设大数据平台? 2.  大数据平台的业务架构有哪几块? 3.  数据可视化的原因是什么? 4.  数据可视化的意义在于什么? 本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中...

2016-12-26 11:26:18

阅读数 637

评论数 0

SQL on Hadoop性能瓶颈点分析及解决方法总结

0. 概述 要正确的优化SQL,必须能快速定位性能瓶颈点,或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点的成因,如文件下载时的瓶颈点可能是网络速度,本地文件复制时的瓶颈点可能在于硬盘性能。 为了快速找到SQL的性能瓶颈点,首先需要读者对各种设备的性能数据有一些基本的...

2016-12-26 10:46:57

阅读数 572

评论数 0

Oracle Grid Infrastructure架构

Grid Infrastructure包含两个最主要的组件:Clusterware集群软件和ASM存储软件。Clusterware是Oracle的集群解决方案,ASM是Oracle的存储解决方案,这两大方案的数据库共同构成了RAC高可用解决方案。 11gR2中的ASM存储管理软件从Datab...

2016-12-21 16:11:11

阅读数 1545

评论数 0

Oracle clusterware

Oracle clusterware clusterware和RAC的关系:  狭义上,RAC指借助“某种集群件”搭建出来的一个“多实例、单数据库”的环境,这里的集群件可以是 Oracle clusterware、Sun cluster等 clusterware把分布式主机虚拟成一个计算机,...

2016-12-21 16:05:23

阅读数 891

评论数 0

oracle rac和分布式数据库的区别

分布式数据库是多个数据库,而rac只是一个库多个实例;rac事务上没有协调的问题,而分布式数据库由于是多个库需要事务上的协调;分布式数据库数据是分散存储在各个节点,但是设备一般都是廉价的设备,经常出现节点故障,不过对用户来说是透明的;RAC是ORACLE集群,数据是共享存储,只有一份,每个节点都不...

2016-12-21 11:53:38

阅读数 4883

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭