大数据
文章平均质量分 79
揭秘大数据... ...
IT沉石
这个作者很懒,什么都没留下…
展开
-
安装ssl后出现网站打开空白解决
安装ssl后出现网站打开空白解决:重启服务器及服务后正常访问5分钟左右,然后所有服务down掉,重启服务无效根本问题是redis硬盘持久化所导致的。宝塔控制面板文件位置:/www/wwwroot/根目录/data/config.php找到:$config['setting']['development'] = 1; //把0改成1为开发调试模式看到报错(看到有错误就放...原创 2020-03-12 23:11:30 · 836 阅读 · 0 评论 -
平台搭建(hadoop+spark+zeppelin)(一)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和...转载 2019-11-17 23:37:30 · 148 阅读 · 0 评论 -
从阿里数据分析岗看未来核心竞争力(六)
总结一下阿里数据分析岗的要求:3年以上数据分析或数据产品相关工作经验数据分析、挖掘、清洗和建模的经验独立编写商业数据分析报告掌握Python, R, Matlab、hive、SQL、SAS/SPSS工具掌握Tableau、Axure、Excel、A/B Test工具独立开展分析研究项目能力至少熟悉以下2个或以上领域:消费者运营,流量运营,搜索优化,商品运营,品类管理,供应链与...转载 2019-11-16 22:11:17 · 141 阅读 · 0 评论 -
Spark直连Oracle数据库(五)
前面我们已经把大数据平台搭建完成了,接下来是怎么应用大数据这件威力巨大的武器了。因为作者目前在一家传统型制造企业,很多业务和数据都是基于传统关系型数据库展开的,数据源大部分都存在Oracle、Mysql、PostgreSQL等传统关系型数据库,所以如何跟大数据平台建立联系,或者说让大数据技术更接地气,是应用大数据技术最好的实践。本文从一个初学者的角度去实践Spark访问Oracle数据库的过程。...转载 2019-11-16 22:08:55 · 559 阅读 · 0 评论 -
大数据知识框架汇总(四)
一、什么是大数据大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。IBM提出大数据的5V特点:Volume(大量)、...转载 2019-11-16 22:08:12 · 216 阅读 · 0 评论 -
Hive环境搭建(三)
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语...转载 2019-11-16 22:07:26 · 398 阅读 · 0 评论 -
HBase环境搭建(二)
我们都知道传统型关系数据库有很多,像Oracle、SQL Server、MySQL、DB2等,随着数据爆炸式发展,关系型数据库已经无法满足日常的数据分析服务了,Apache开源项目为我们提供了分布式数据库的解决方案–HBase。HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigt...转载 2019-11-16 22:06:19 · 107 阅读 · 0 评论 -
平台搭建(hadoop+spark+zeppelin)(一)
随着信息化时代的加深,国家人力资源和社会保障部新规定了13个新型职业,大数据工程技术人员赫然在列,下面我将从一个初学者的态度,搭建我们的大数据平台。系统和软件版本如下:软件 相应版本操作系统 CentOS 6.7JAVA JDK 1.8.0.131SCALA SCALA 2.11.2Hadoop Hadoop 2.7.3Spark Spark 2....转载 2019-11-16 22:05:02 · 227 阅读 · 0 评论