大数据技术杂谈

排序：
默认
按更新时间
按访问量
RSS订阅

原 大数据先阶段发展情况认知

产业链：2017年产业链发展：1. 数据服务平台提供商：直接面对行业客户，向他们提供其所拥有的外部数据（往往本身就拥有海量的2C数据入口，可以源源不断地生产2C数据）的粗加工产品（如用户的标签数据等）；2. 数据解决方案提供商：基本使用用户自身的数据，通过数据处理服务，为行业客户提供某个方向的解决...

2018-03-19 13:54:24

阅读数 344

评论数 0

原 区块链概念——学习笔记

区块链是比特币的底层技术，它本质上是一种去中心化的分布式账本技术。 英国政府在其于2016年年初发布的报告《区块链：分布式账本技术》中指出：“区块链是数据库的一种。它拥有大量的记录，并将这些记录全部存在区块内（而非整理在一页纸或表格中）。每个区块通过使用加密签名，连接到下一个区块。人们可以像使用...

2018-01-05 16:48:27

阅读数 322

评论数 0

原 Python 爬去糗事百科内容讲解

参考：http://blog.csdn.net/flyingfishmark/article/details/51251534 爬取前我们先看一下我们的目标： 1.抓取糗事百科热门段子 2.过滤带有图片的段子 3.段子的发布人，段子内容，好笑数，评论数 #...

2017-03-02 12:24:12

阅读数 418

评论数 0

原 Python爬虫实战学习地址

http://blog.csdn.net/flyingfishmark/article/category/6194504 http://www.cnblogs.com/jixin/p/5121886.html https://zhuanlan.zhihu.com/p/22390905

2017-03-01 16:09:15

阅读数 480

评论数 0

原 简单的爬去百度贴吧小爬虫讲解

# -*- coding: utf-8 -*- import urllib2, string def baidu_tieba(url, begin_page, end_page):     for i in range(begin_page, end_page+1):       ...

2017-03-01 11:31:11

阅读数 403

评论数 0

原 python3引urllib2报错：Unresolved import: urllib2

问题描述： python代码： import urllib2   response = urllib2.urlopen('http://www.baidu.com/')   html = response.read()   print html    报错如下： Tr...

2017-02-20 11:46:43

阅读数 2612

评论数 0

转 Project interpreter not specified(eclipse+pydev)

新建Python工程时，提示如下错误：Project interpreter not specified，（见图一）。 开始我以为是插件安装有问题，后来查了蛮久才发现是没有导入Python的开发环境导致的。       知道原因了解决就很简单了：       0、当然你的系统必须...

2017-02-20 11:19:50

阅读数 299

评论数 0

原 linux平台11gR2 grid安装到执行root.sh时报错

[root@racdb1 11.2.0]# sh root.sh  Running Oracle 11g root.sh script... The following environment variables are set as:     ORACLE_...

2017-02-17 15:22:27

阅读数 664

评论数 0

原 Oracle 11g安装GI CRS-4124 解决方案

在CentOS 6.5 X86_64上安装11.2.0.1 的RAC，在安装grid时执行root.sh 脚本，报错，如下： CRS-4124: Oracle High Availability Services startup failed. CRS-4000: Command Start ...

2017-02-06 14:22:03

阅读数 582

评论数 0

原 ORACLE 11G GRID 安装缺少到libcap.so.1而终止的解决方法

在OEL 6.3上搭建一台11G的RAC测试环境，在最后执行root.sh脚本的时候遇到libcap.so.1: cannot open shared object file: No such file or directory 错误。 [root@racdb1 11.2.0]# sh root...

2017-02-06 12:54:28

阅读数 711

评论数 0

转 Spring中spring-data-redis的使用

参考：http://www.aboutyun.com/thread-20755-1-1.html

2017-01-11 12:59:35

阅读数 616

评论数 0

转 使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【公安大数据】

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20705 公安行业存在数以万计的前后端设备，前端设备包括相机、检测器及感应器，后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统，数量巨大、种类繁多的设...

2017-01-11 12:43:09

阅读数 8111

评论数 3

转 日志数据从kafka到hive是如何实现的

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20701 背景 公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的...

2017-01-11 12:28:39

阅读数 3120

评论数 0

转 ELK结合Spark构建高可用架构及监控spark集群

1. ELK 系统是如何进行架构的？ 2. 为什么ELK 在 Spark 集群中是高可用性构架？ 3. ELK 可以监控 Spark 集群的哪些性能？ 4. ELK 可以监控 Spark 集群的哪些作业？ 解决方案： 概述 大数据处理技术越来越火,云计算平台也如...

2017-01-11 11:49:37

阅读数 2132

评论数 0

转 大数据架构师必读：医药企业大数据应用案例

问题导读： 1、IT系统信息化平台涉及内容有什么？ 2、数据集成架构模型包括哪些部分？ 3、业务系统部署实现功能有什么？ 4、数据仓库建设应考虑的内容有哪些？ 5、未来大数据应用如何扩展？ 随着技术的发展，IT逐渐面临越来越多的挑战，尤其是数据治理方面。而九州通医药集团在I...

2017-01-11 11:11:47

阅读数 2243

评论数 0

转 大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用

问题导读： 1.  为什么要建设大数据平台？ 2.  大数据平台的业务架构有哪几块？ 3.  数据可视化的原因是什么？ 4.  数据可视化的意义在于什么？ 本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展，以及发展过程中...

2016-12-26 11:26:18

阅读数 637

评论数 0

转 SQL on Hadoop性能瓶颈点分析及解决方法总结

0. 概述 要正确的优化SQL，必须能快速定位性能瓶颈点，或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点的成因，如文件下载时的瓶颈点可能是网络速度，本地文件复制时的瓶颈点可能在于硬盘性能。 为了快速找到SQL的性能瓶颈点，首先需要读者对各种设备的性能数据有一些基本的...

2016-12-26 10:46:57

阅读数 572

评论数 0

转 Oracle Grid Infrastructure架构

Grid Infrastructure包含两个最主要的组件：Clusterware集群软件和ASM存储软件。Clusterware是Oracle的集群解决方案，ASM是Oracle的存储解决方案，这两大方案的数据库共同构成了RAC高可用解决方案。 11gR2中的ASM存储管理软件从Datab...

2016-12-21 16:11:11

阅读数 1545

评论数 0

原 Oracle clusterware

Oracle clusterware clusterware和RAC的关系：  狭义上，RAC指借助“某种集群件”搭建出来的一个“多实例、单数据库”的环境，这里的集群件可以是 Oracle clusterware、Sun cluster等 clusterware把分布式主机虚拟成一个计算机，...

2016-12-21 16:05:23

阅读数 891

评论数 0

原 oracle rac和分布式数据库的区别

分布式数据库是多个数据库，而rac只是一个库多个实例；rac事务上没有协调的问题，而分布式数据库由于是多个库需要事务上的协调；分布式数据库数据是分散存储在各个节点，但是设备一般都是廉价的设备，经常出现节点故障，不过对用户来说是透明的；RAC是ORACLE集群，数据是共享存储，只有一份，每个节点都不...

2016-12-21 11:53:38

阅读数 4883

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭