大数据
文章平均质量分 51
Felix_CY
这个作者很懒,什么都没留下…
展开
-
Hadoop集群配置之后浏览器无法访问问题
http://blog.csdn.net/wx217415/article/details/51943863?locationNum=12最近在做Hadoop分布式集群学习,配置好之后通过浏览器访问50070端口来监测管理,但是配置好之后发现浏览器访问不到,网上查找了许多方法,有的说修改windows的hosts,有的说关闭防火墙,等等。经过一番测试,都不行。 最后想了想转载 2017-06-16 10:27:54 · 128440 阅读 · 0 评论 -
【转】hadoop 集群开启之后datanode没有启动
datanode没有启动将hadoop配置文件修改后,重新格式化了hadoop集群,即hadoop name -format但是此时发现slave节点没有启动datanode上网查找解决方法,最后终于解决了,解决方法如下:1. 先执行stop-all.sh暂停所有服务2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹,Dat...转载 2018-12-06 11:37:56 · 335 阅读 · 0 评论 -
大数据能做什么?
转自:http://www.thebigdata.cn/JiShuBoKe/9328.html什么是大数据? 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。新处理模式具有两层含义:1、由于海量数据,需要更高效的存储和处理技术,hadoop。2、大数据明显标志是数据挖掘和人工智能的紧密结合。数据统计只是对已有的数据进行转载 2017-10-02 22:19:17 · 405 阅读 · 0 评论 -
centos6.5升级glibc
问题:GLIBC:2.17 not found从这个glibc网站 下载glibc,本来准备安装最新版的2.26的,但是在编译环节总是出错,显示缺少文件或者GNU ld complier版本低。所以下载了2.17版本的安装。。安装步骤:1. 查看系统glibc库版本可使用如下命令:$ strings /lib64/libc.so.6 |grep GLIBC_Cent原创 2017-08-08 17:38:55 · 1169 阅读 · 0 评论 -
解决A master URL must be set in your configuration错误
在运行Spark的测试程序SparkPi时,点击运行,出现了如下错误:Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configurationat org.apache.spark.SparkContext.(SparkContext.Scala:18转载 2017-07-19 11:22:57 · 2083 阅读 · 0 评论 -
virtualbox安装centos系统连接外网配置
virtualbox安装centos系统连接外网配置通过NAT网络+host网络配置centos系统 host网络可以让虚拟机之间互相联通,NAT网络可以让虚拟机与外网联通。 首先配置NAT网络和host网络: 在virtualbox界面创建NAT网卡和host网卡。可以用快捷键ctrl+G弹出配置框,如图 图中先选择NAT网络,点击右边创建一个即可,里面设置一般IP为10.0.2.4原创 2017-06-28 10:38:54 · 831 阅读 · 0 评论 -
Hadoop集群配置ssh时,slave无法连接到master
出现的问题:在使用ssh配置master和slaves免秘钥登录时,发现master能免秘钥连接slave,而slave无法免秘钥连接master。 首先我建立hadoop集群的时候,是自己建了用户组spark。出现上述原因是我给master机器的/home/spark的权限为777。将权限改为700就好了,具体原因不知道,就是linux的用户权限不是越大越好的。命令: chmod原创 2017-07-14 16:34:41 · 2897 阅读 · 1 评论 -
hive在centos7上安装
hive分三种部署模式:1.单用户模式 此模式连接到一个In-Memory 的数据库Derby,一般用于Unit Test。2.多用户模式 通过网络连接到一个数据库(数据库通常是mysql数据库)中,是最经常使用到的模式。3. 远程服务器模式 用于非Java客户端访问元数据库,在服务器端启动MetaStoreServer,客户端利用Thrift协议通过MetaStoreServe原创 2017-07-04 22:37:20 · 1062 阅读 · 0 评论 -
Centos7下安装Mysql5.7.15
转自:http://blog.csdn.net/navy_xue/article/details/52810658转载 2017-07-04 09:33:40 · 191 阅读 · 0 评论 -
初识大数据
转自http://www.36dsj.com/archives/56003徐晓鹏 大数据实践者本文由知乎 徐晓鹏 授权发布,版权所有归作者,转载请联系作者!亲身参与,作为主力完成了一个信息大数据分析平台。中间经历了很多问题,算是有些经验,因而作答。整体而言,大数据平台从平台部署和数据分析过程可分为如下几步:1、linux系统安装一般使用开源版的R转载 2017-06-12 10:51:35 · 326 阅读 · 0 评论 -
Spark架构与作业执行流程简介
1. Local模式 转自:http://www.cnblogs.com/shenh062326/p/3658543.html?utm_source=tuicool&utm_medium=referral 运行Spark最简单的方法是通过Local模式。 运行命令为:./bin/run-example org.apache.spark.examples.SparkPi local转载 2017-07-02 14:37:05 · 670 阅读 · 0 评论 -
spark中实现ansj遇到NoClassDefFoundError错误
目的:在spark是实现ansj中文分词功能。错误:总是报错19/01/17 16:23:08 INFO scheduler.DAGScheduler: ResultStage 0 (foreach at demo.scala:17) failed in 9.567 s due to Job aborted due to stage failure: Task 0 in stage 0.0 f...原创 2019-01-17 16:48:07 · 789 阅读 · 0 评论