大数据
文章平均质量分 88
hadoop/hive/hbase等
CodingALife
这个作者很懒,什么都没留下…
展开
-
Xshell连接虚拟机中的Linux时经常自动断开,还不到一分钟就断开了,断开之后还很难连接上
解决:IP地址冲突了,虚拟机换其他IP。我的成功解决注:很多家用路由器自动分配IP都是从192.168.1.100开始分配,不要使用100-110这个范围的IP就可以了原创 2018-09-26 09:57:32 · 9821 阅读 · 4 评论 -
VMware中Error, some other host already uses address解决办法
今天突然无法连接虚拟机了,报Error, some other host already uses address错误,换了其他ip还是报这样的错误,还好网上一搜就找到了解决办法 方法如下: 1、vim /etc/sysconfig/network-scripts/ifup-eth 修改配置文件 2、把这个ip判断注释掉 可以通过 /arping快速定位 ...转载 2018-09-26 08:35:53 · 1389 阅读 · 0 评论 -
解决 Error:No suitable device found: no device found for connection "System eth0"
解决使用VMware克隆出来的新虚拟机无法联网的问题一.背景 我们安装好了一个虚拟机,我想做分布式集群,想模拟几台服务器,这时就想直接复制已经有的安装好的虚拟机,这样比较省事,不要在重复的安装虚拟机并配置JAVA环境,省掉做同样的事情,这时直接复制,这样之前配置的JAVA环境都有了。二.问题 这时我复制好的虚拟机,启动登陆进去(用户名和密码跟之前那台是一样的),修改好IPADDR,然后网卡...转载 2018-04-17 19:06:34 · 847 阅读 · 0 评论 -
虚拟机Linux下解决ping时出现 unknown host问题
在虚拟机中使用CentOS6.5时,ping www.baidu.com出现报错信息:“ping: unknown hostwww.baidu.com”,虚拟机和物理机网络连接是NAT方式,物理机访问Internert正常,虚拟机可能是网卡设置、网关设置、DNS设置等导致无法连接外网。解决方案:1.检查网卡设置: vim /etc/sysconfig/network-scripts/ifcfg-e...转载 2018-04-17 16:30:47 · 2870 阅读 · 0 评论 -
VMware配置网络的3种方式:NAT、Host-Only、Bridged
首先,大家知道一下网络常识: 1.网络中对电脑的访问是通过ip定位的。 就好像我们的身份证号,可以唯一辨识一个人。ip是用来区分网络中的电脑的,因此同一网络(准确讲是“网段”)中,ip地址不能相同。如果同一网络中有相同的ip存在,经常发生无法联网或者经常掉线的情况。 2.网络是分段管理的。 拿局域网为例,我们通常的网段是192.168.1.xxx。我们的ip地址就是把xxx成1到254的数...转载 2018-04-17 16:07:56 · 1421 阅读 · 0 评论 -
Phoenix安装和Squirrel安装
描述 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要记录Phoenix。 phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。 但是在生产环境中,不可以用在OL...转载 2018-12-10 15:51:30 · 445 阅读 · 0 评论 -
Ubuntu下使用SSH和FileZilla远程登陆
File Zilla下载安装File Zilla是一个开源的,跨平台的Linux FTP客户端。File Zilla有一个标签式的用户界面,允许用户查看正在传输的文件的所有细节。File Zilla是通过网络传输较大文件的完美方式,它允许恢复大于4GB的文件。它的拖放功能使其能够更轻松地通过FTP传输文件下载地址 :FileZilla下载SSH概述SSH是指Secure Shell...转载 2020-01-31 14:45:03 · 856 阅读 · 0 评论 -
实现window10与Ubuntu之间的文件传输
通过免费的FTP传输软件FileZilla实现双向传输,只需将该软件下载到windows下。下载链接:https://filezilla-project.org/2. 使用FileZilla传输文件需要SSH服务,Ubuntu作为服务端使用需要安装SSH服务端,参考:Ubuntu下使用SSH和FileZilla远程登录,使用以下命令安装:sudo apt-get install ope...转载 2020-01-31 14:37:47 · 4781 阅读 · 2 评论 -
MySQL之权限管理
原文:https://www.cnblogs.com/Richardzhu/p/3318595.html一、MySQL权限简介 关于mysql的权限简单的理解就是mysql允许你做你全力以内的事情,不可以越界。比如只允许你执行select操作,那么你就不能执行update操作。只允许你从某台机器上连接mysql,那么你就不能从除那台机器以外的其他机器连接mysql。 那么M...转载 2018-10-18 11:35:18 · 226 阅读 · 0 评论 -
IntelliJ IDEA 自动导入包 快捷方式
idea可以自动优化导入包,但是有多个同名的类调用不同的包,必须自己手动Alt+Enter设置设置idea导入包勾选标注 1 选项,IntelliJ IDEA 将在我们书写代码的时候自动帮我们优化导入的包,比如自动去掉一些没有用到的包。 勾选标注 2 选项,IntelliJ IDEA 将在我们书写代码的时候自动帮我们导入需要用到的包。但是对于那些同名的包,还是需要手动 Alt + E...转载 2018-10-12 11:56:05 · 2558 阅读 · 0 评论 -
idea External Libraries 没有jar
问题在pom.xml中引入依赖后, 发现External Libraries只有jdk没有其他的jar, 在java代码中也无法用引入的类.解决在idea右侧的Maven Projects右击项目选择Reimport, 此时开始将jar导入到项目中, 但是这个加载过程又特别慢,填写如下图参数重启idea重新Reimport即可解决: -DarchetypeCatalog=internal...原创 2018-10-12 11:55:10 · 7218 阅读 · 2 评论 -
私服nexus报错:Warning: Could not connect to Nexus.解决办法
私服nexus搭建过程:1.将nexus的war包放在tomcat7的webAPP下2.双击Tomcat的bin目录下的startup.bat启动Tomcat3.http://localhost:8080/nexus-2.7.0-064.如果报错信息如下,将jdk1.8降为jdk1.7就可以了(自己真实犯过的错误)5.修改之后成功原文:https://blo...转载 2018-10-11 20:08:20 · 2490 阅读 · 1 评论 -
VMware启动时提示我已移动或我已复制该虚拟机
一、VMware启动时提示“我已移动该虚拟机”或“我已复制该虚拟机”,选择“我已复制该虚拟机”1、如果选择 我已移动该虚拟机 的话网卡的MAC地址会保持不变:因为始终只有一个MAC地址,不会造成冲突,所以虚拟机间通信没问题。 2、如果选择 我已复制该虚拟机 的话网卡的MAC地址就会变化:因为如果MAC地址不变的话,就存在两个相同的MAC地址,那么这个两个虚拟机之间的通信就会...转载 2018-10-10 10:23:00 · 6096 阅读 · 0 评论 -
关于图片或者文件在数据库的存储方式归纳
商品图片,用户上传的头像,其他方面的图片。目前业界存储图片有两种做法:1、 把图片直接以二进制形式存储在数据库中一般数据库提供一个二进制字段来存储二进制数据。比如mysql中有个blob字段。oracle数据库中是blob或bfile类型2、 图片存储在磁盘上,数据库字段中保存的是图片的路径。一、图片以二进制形式直接存储在数据库中第一种存储实现(php语言):大体思路:...转载 2018-09-26 15:16:17 · 29609 阅读 · 1 评论 -
MongoDB可视化工具 Studio 3T
告别终端使用可视化工具Studio 3T对MongoDB进行数据库的操作。简单的使用步骤介绍 1、启动MongoDB服务器(方法见MongoDB介绍与安装中的介绍)2、连接MongoDB服务器 3、操作数据库 ...转载 2018-11-06 14:37:24 · 1034 阅读 · 0 评论 -
MongoDB学习笔记—Linux下搭建MongoDB环境
阅读目录1.MongoDB简单说明 2.准备工作 3.MongoDB安装 4.MongoDB配置 5.MongoDB设置为系统服务并且设置开机启动 6.MongoDB设置远程服务(建议只在内网或者不可设置,不安全系数太高)1、MongoDB简单说明 a MongoDB是由C++语言编写的一个基于分布式文件存储的开源数据库系统,它的目的在于为WEB应用提供可扩展的高性能数据存...转载 2018-10-09 16:21:41 · 471 阅读 · 0 评论 -
mongodb诊断工具explain()最新API详解
起因说道explain()我就不得不吐槽一下被坑的经过(假设你已知晓索引相关概念)在数据量和吞吐量越发庞大的今天,优化查询速度是提高系统性能的一个关键点,而获取这类相关信息的重要诊断工具之一就是explain(),引用用《MongoDb权威指南》书中的解释:通过查看一个查询(find)的explain()输出信息,可以知道查询使用了哪个索引,以及是如何使用的。 最常见的输出有两种类型:使用索引的查...转载 2018-05-04 10:44:32 · 361 阅读 · 0 评论 -
MongoDB安装到windows服务的方法及遇到问题的完美解决方案
这篇文章主要介绍了MongoDB安装到windows服务的方法及遇到问题的完美解决方案,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下MongoDB的安装方法详情请查看 : MongoDB的安装方法配置MongoDB的环境变量及好处 今天我们说一下如何配置MongoDB的环境变量及好处,因为每次我们启动MongoDB服务的时候都需要在黑窗口(dos窗口)中切换到MongoDB所在...转载 2018-05-03 10:44:37 · 266 阅读 · 0 评论 -
mongodb db.collection.remove报错
mongodb db.collection.remove用法对于db.collection.remove需要加入加入一个query才能正常运行,否则仅仅运行remove()将会报错,例如:> for(var i=0;i<100000;i++){ db.c3.insert({name:”user”,age:i}) }>db.c3.remove();2018-05-03...原创 2018-05-03 09:29:37 · 1624 阅读 · 0 评论 -
IntelliJ IDEA中Dependencies红色波浪线报错(缺少Dependency)的解决办法
使用IDEA进行maven开发时,打开Maven项目管理面板Maven Project下图中的Dependencies中有时候会报错有些依赖会后红色下划线报错,上图没有,就当做它有吧对于有波浪线的依赖,将其<dependency></dependency>标签从pom.xml中删除,保存后,点击Reimport All Maven Project然后再从po...转载 2018-10-15 19:29:11 · 6958 阅读 · 1 评论 -
在Windows下的idea中访问HDFS报错 Could not locate executable null\bin\winutils.exe
18/09/08 20:18:33 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at...转载 2018-10-15 19:16:17 · 391 阅读 · 0 评论 -
关于安装zookeeper启动遇到显示It is probably not running的问题解决
首先说明一下本人的情况,我是启动zkServer.sh start 后显示是启动了,jps下也是有线程,说明线程启动成功,并没有端口占用的问题,但是在我 zkServer.sh status 就会出现It is probably not running的错误。 解决方案如下: 1;查看liunx系统的防火墙是否关闭,查看防火墙状态 service iptables status 如果没有关闭,...转载 2018-10-13 15:30:15 · 2914 阅读 · 1 评论 -
【解决办法】Hadoop2.6.4 datanode 无法启动,错误:All specified directories are failed to load.
在部署hadoop2.6.4 集群的时候碰到下面的错误FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.200.19...转载 2018-10-12 16:34:39 · 367 阅读 · 0 评论 -
解决hadoop namenode 无法启动
hadoop集群正常运行,不小心把namenode节点服务器shutdown了,重启服务器后,启动hadoop发现namenode节点无法启动,50070端口无法访问,50030端口正常。这种情况下只好去看namenode日志了,下载日志文件到本地查看在hadoop的logs目录下查看发现是主节点上的一个文件权限不是hadoop的,启动时报错:java.io.FileNotFoun...转载 2018-10-12 16:10:19 · 13415 阅读 · 0 评论 -
Warning: Permanently added the ECDSA host key for IP address '192.168.80.133' to the list o
启动hadoop出现警告,centos6.7中jps无datanode在centos6.7中找到.ssh文件下的know_hosts文件,把以前的centos6.7的ip删掉或改掉原创 2018-10-12 15:48:50 · 7012 阅读 · 0 评论 -
控制台中执行mvn命令后提示‘cmd’不是内部或外部命令
最近在cmd下使用mvn命令时,在执行完以后总会出现一句“‘cmd’不是内部或外部命令,也不是可执行程序或批处理文件”,如下图:虽然命令执行成功了,不会有什么影响,但是身为强迫症晚期的我是绝对不能忍的。首先,能够正确执行mvn命令,说明Maven的配置是没问题的,那么问题出在什么地方呢?找来找去最后定位到是环境变量的问题,查看系统变量中的Path,发现里面缺少了%SystemRoot%\s...转载 2018-10-11 16:53:05 · 1245 阅读 · 0 评论 -
xftp 上传文件到CentOS 出现 Permission is not allowed解决方案
今天试了以下好久没用的xftp,结果连接虚拟机中的CentOS出现了错误:Permission is not allowed.根据提示感觉应该是文件夹权限问题。查看一下文件夹权限后发现,software文件夹属于root用户,而我登录xftp用的是hadoop用户,并没有赋予相应权限,因此权限不够。直接改为777。修改目录权限chmod 777 software成功上传...原创 2018-09-27 11:45:31 · 2380 阅读 · 0 评论 -
MapReduce:详解Shuffle(copy,sort,merge)过程
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里...转载 2018-04-19 11:55:41 · 470 阅读 · 0 评论 -
关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析
1、更改网卡的 ip 地址2、更改 /etc/hosts 中的 master 对应的 ip (这个一定要写对啊)3、hdfs namenode -format之前的准备阶段(删除一些文件)(1)、删除hdpdata文件(里面包含需要删除的dfs文件夹)(2)、删除 logs文件夹4、hdfs namenode -format------------------------------下面是转载的相...转载 2018-04-18 09:30:23 · 2578 阅读 · 0 评论 -
集群搭建----解决节点克隆后配置的问题(或者hadoop动态扩容)
第一、更改网络第二、ip与主机名映射,主机名,ip然后service network restart然后重启(reboot)第三、关闭iptables并设置其开机不启动service iptables stopchkconfig iptables off第四、在windows系统c:/windows/system32/drived/etc/hosts5:hadoop集群需要更改vi salves...原创 2018-04-18 09:22:18 · 822 阅读 · 0 评论 -
Hadoop DataNode 无法启动,报错:java.io.IOException: All specified directories are failed to load.
解决方法1:直接删除dfs,再格式化hdfs即可(./hdfs namenode -format)(删除dfs)格式化(hdfs)方法二:进入dfs/data,修改VERSION文件即可,将version里面的内容修改成和master一直的。...原创 2018-04-18 09:19:08 · 1051 阅读 · 0 评论