- 博客(18)
- 资源 (25)
- 收藏
- 关注
转载 深入理解Linux修改hostname
当我觉得对Linux系统下修改hostname已经非常熟悉的时候,今天碰到了几个个问题,这几个问题给我好好上了一课,很多知识点,当你觉得你已经掌握的时候,其实你了解的还只是皮毛。技术活,切勿浅尝则止!实验环境:Red Hat Enterprise Linux Server release 5.7 (Tikanga) ,其它版本Linux可能有所不同。请以实际环境为准。其实我多次修改过hos
2015-11-30 10:38:18 817
转载 hadoop 完全分布式 下 datanode无法启动解决方法
问题导读:1、hadoop 完全分布式 和伪分布式下 datanode无法启动的原因?2、怎么解决?问题描述:在集群模式下更改节点后,启动集群发现 datanode一直启动不起来。我集群配置:有5个节点,分别为master slave1-5 。在master以hadoop用户执行:start-all.shjps查看master节点启动情况:
2015-11-27 16:37:00 4520
转载 hadoop学习之hadoop完全分布式集群安装
:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流。转载请注明来自:http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个ha
2015-11-27 15:03:18 686
转载 ArtifactDescriptorException的解决方法
ArtifactDescriptorException的解决方法 2012-11-24 19:11:14| 分类:Java |举报|字号 订阅 下载LOFTER客户端最近在切换Maven Repository路径时,eclipse中遇到了ArtifactDescriptorExce
2015-11-26 14:41:48 7171
转载 Swap file "/etc/.hosts.swp" already exists! [O]pen Read-Only, (E)dit anyway, (R)ecover, (D)elete it,
非正常关闭vi编辑器时会生成一个.swp文件非正常关闭vi编辑器时会生成一个.swp文件关于swp文件使用vi,经常可以看到swp这个文件,那这个文件是怎么产生的呢,当你打开一个文件,vi就会生成这么一个.(filename)swp文件以备不测(不测下面讨论),如果你正常退出,那么这个这个swp文件将会自动删除。下面说不测。不测分为:1当你用多个程序编辑同一个文件时
2015-11-26 09:34:33 28066 1
原创 Bringing up interface eth0: Error: No suitable device found: no device found for connection 'System
一 问题产生:重启网卡时出现重启失败如下图所示二 问题的分析:第一:查看网卡是否存在第二:查看防火墙是否关闭三 解决方案:方案一:若没有改网卡。进入root下配置etho网卡信息$setupservice network restart若重启方案二:将ifconfig 查到
2015-11-25 09:57:45 2120
转载 从Hadoop到Spark
当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,Spark Meetup在北京、上海、深圳和杭州四个城市举办,其中仅北京就成功举办了5次,内容更涵盖Spark Core、Spark Streaming、Spark MLlib、Spark SQL等众多领域。而作为较早关注和引入Spark的移动互联网大数据综合服务公司,Ta
2015-11-24 17:08:18 979
转载 LINUX修改、增加IP的方法 ifconfig 两个ip地址 配置文件
========================================静态方法========================================注意:所有操作均使用root用户修改ip:编辑文件/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 //设备名称,不要修改BOOTPROTO=static
2015-11-24 13:26:13 2763
转载 数据挖掘十大经典算法
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十大算法,其实参加评选的18种算法,实际
2015-11-11 21:20:33 516
转载 HBase使用场景
1半结构化或非结构化数据对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用HBase。以上面的例子为例,当业务发展需要存储author的email,phone,address信息时RDBMS需要停机维护,而HBase支持动态增加.2 记录非常稀疏RDBMS的行有多少列是固定的,为null的列浪费了存储空间。而如上文提到的,HBase为null的C
2015-11-05 14:32:19 933
转载 linux常用命令
系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作系统信息 arch 显示机器的处理器架构(1)
2015-11-04 10:08:42 701
转载 Mapreduce与Hive比较
1、背景介绍早先的工作中,有很多比较复杂的分析工作,当时对hive还不熟悉,但是java比较熟悉,所以在进行处理的时候,优先选择了MR.但是随着工作的数据内容越来越多,越来越复杂,对应的调整也越来越多,越来越复杂.纯使用MR方式整个流程就比较复杂,如果需要修改某个部分,那首先需要修改代码中的逻辑,然后把代码打包上传到某个可访问路径上(一般就是hdfs),然后在调度平台内执行.如果改动较
2015-11-03 21:07:57 6919
原创 Hadoop的fsck工具
HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题,如block丢失或缺少block等。fack命令用法如下:bin/hadoop fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查的起始目录-move 将损坏的文件移动到/
2015-11-03 17:50:32 742
转载 Ganglia 权威指南-安装Ganglia过程
Ganglia由gmond、gmetad和gweb三部分组成gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上。gmond在每台主机上完成实际意义上的指标数据收集工作,并通过侦听/通告协议和集群内其他节点共享数据。使用gmond,你可以很容易收集很多系统指标数据,如CPU、内存、磁盘、网络和活跃进程的数据等。gm
2015-11-03 17:05:12 439
转载 Hadoop回收站trash
Hadoop回收站trash,默认是关闭的。 习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了1.修改conf/core-site.xml,增加property> name>fs.trash.intervalname> value>1440value> description>Number of minutes between tra
2015-11-02 19:23:41 679
原创 Hadoop集群的回收机制
GVM(垃圾回收机制)原理:当在集群中删除目录文件,集群自动在/user zkpk/.Trash/Current的集群目录中保存一定时间(根据ccore参数而定),在改时间内可以读对文件恢复,一旦超出规定时间,则无法恢复.在Hadoop集群中有一下四个配置文件,他们都有自己的默认文件如下所示.当启动集群或者重启后,会依次加载default.xml和site.xml如果二者有冲突
2015-11-02 19:08:55 1466
原创 集群搭建实例总结
一:搭建集群关键词:服务器 :内存 硬盘 CPU显示屏网线(光纤)机柜(机架)外设(如键盘鼠标等)交换机预备电源(备用电源以防意外断电)二 选择服务器考虑因素:服务器的类型一般机架式,塔式,刀片式三种一台服务器的内存至少32GB商业常用为64 128 256居多,硬盘最大容量,一般十几到二十几GB大小,CPU个数,2或者4颗居多,接口类型 一般为
2015-11-02 19:07:20 1559
wireshark-v3.4.2.zip
2021-04-20
shell脚本案例-俄罗斯方块
2021-03-01
gsoap2.8.11&2.8.1双版本.txt
2021-02-05
gsoap2.8.11离线安装包
2021-02-05
yum离线安装包(真实有效)
2021-02-05
PERL/NASM安装包(exe)工具以及openssl-1.1.1-pre5.tar.gz
2020-11-03
NVIDIA-Linux-x86_64-418.88.run
2020-09-02
Ubuntu16.04 openssh安装包
2020-07-16
全栈性能java网络爬虫从入门到精通实战.pdf
2020-05-26
Ubuntu操作系统ssh安装包
2020-05-25
qt-opensource-linux-x64-5.7.1.run
2020-03-26
qt-opensource-linux-x64-5.5.1.run
2020-03-26
curl-7.49.0.tar.gz
2020-03-26
libevent-2.0.21-stable.tar.gz
2020-03-26
Linux libevent2.1安装包
2020-03-26
redis505.rar
2020-03-04
支持VMWare Esxi6.7虚拟机操作系统,VMware-ovftool-4.3.0.x86_64。用于企业大容量(20G亲测)OVF导出.txt
2019-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人