大数据学习
rick_cw
这个作者很懒,什么都没留下…
展开
-
git基本操作
git基本操作1.提交git pullgit add .git commit -m "commit message"git push2.查看当前分支、切换分支git branch [-a]git checkout feature_name3.远程分支同步远程mastergit pull origin master原创 2021-08-26 11:33:58 · 131 阅读 · 0 评论 -
顶级技术团队的博客推荐
国内顶级技术团队的博客推荐以下是学习过程中了解到的不错的技术博客团队:美团技术团队阿里技术(微信公众号)阿里巴巴中间件(微信公众号)Thoughtworks洞见小米信息部技术团队360 核心安全技术博客伴鱼技术团队滴滴技术(微信公众号)爱奇艺技术产品团队(微信公众号)...原创 2021-08-06 11:48:34 · 184 阅读 · 0 评论 -
解决hue窗口中文报错问题:1366, Incorrect string value:… for column search at row 1
在hue中查询条件加了中文,或者有中文注释都会报错(1366, Incorrect string value:… for column search at row 1)修改hue元数据库的字符编码:alter database hue character set latin1;alter table beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;原创 2021-04-12 12:15:36 · 685 阅读 · 0 评论 -
centos 7安装hive后连接数据库一直没有响应
原因原来安装的mysql是使用yum安装的,教程里面是使用rpm安装的rpm安装与yum安装的区别解决办法卸载yum安装的数据库Centos7 完全卸载mysql再按照教程中的rpm安装mysql即可原创 2020-10-25 22:14:03 · 183 阅读 · 0 评论 -
beeline连接hiveserver2失败
beeline> !connect jdbc:hive2://hadoop200:10000无响应解决:beeline> !connect jdbc:hive2://这是目前的解决办法,找到原因再更新原创 2020-10-25 16:44:15 · 471 阅读 · 0 评论 -
Another instance ofDerbymay have already booted the database /opt/apache-hive-0.13.1-bin/metastore_d
hive安装后,各个命令都正常,退出之后再进入hive,报错:Caused by: ERROR XSDB6: Another instance ofDerbymay have already booted the database /opt/apache-hive-1.2.1/bin/metastore_db.原因是因为采用了derby内嵌数据库作为数据库,该数据库不支持多用户同时访问,解决办法如下重新换mysql作为元数据库,方法见【此处插入更换mysql的链接】如果怎么配置都不能成功,就重新解原创 2020-10-24 10:11:23 · 1468 阅读 · 0 评论 -
idea项目连接github报Please make sure you have the correct access rights and the repository exists.
报如下错误:Please make sure you have the correct access rightsand the repository exists.FATAL Something’s wrong. Maybe you can find the solution here: xxxxxxxxxxxx原因,本地的git信息是之前的,需要更新解决方法:1)查看本地配置信息2)删除本地的配置信息 git remote remove github git remote re.原创 2020-10-17 19:46:49 · 901 阅读 · 0 评论 -
IDEA连接GitHub解决Incorrect Credentials 401,Invalida Authentication data问题
修改github密码重新登陆idea即可原创 2020-10-17 19:16:30 · 2205 阅读 · 0 评论 -
Initialization of all the collectors failed. Error in last collector was :interface javax.xml.soap.T
MapReduce报错:Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :interface javax.xml.soap.Text原因在main函数处错误import了 javax.xml.soap.Text,应该import org.apache.hadoop.io.Text修改Text的引入...原创 2020-10-16 20:06:19 · 740 阅读 · 0 评论 -
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误解决方案
环境:Windows10 + JDK1.8 +Hadoop2.7.2错误:org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V解决办法1)把对应版本的hadoop.dll 和 winutils放到hadoop安装目录的bin目录下2)环境变量的配置3)把下面代码放到wordcount的驱动程序中static { try { System.lo.原创 2020-10-15 15:58:20 · 791 阅读 · 0 评论 -
【SQL】SQL 语句大全
文章目录一、基础二、提升三、技巧四、数据开发-经典五、SQL Server基本函数一、基础1、说明:创建数据库CREATE DATABASE database-name2、说明:删除数据库drop database dbname3、说明:备份sql server— 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice ‘disk’, ‘testBack’, ‘c:\mssql7backup\MyNwind_1.dat’— 开始 备份BACKUP D原创 2020-10-14 21:50:05 · 165 阅读 · 0 评论 -
hadoop2.7.2版本对应的winutils和hadoop.dll,maven也有,不用可以删掉
winutils&hadoop.dll原创 2020-10-10 10:12:17 · 362 阅读 · 0 评论 -
Permission denied: user=administrator, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x
搭建了一个Hadoop的环境,Hadoop集群环境部署在几个centos 7服务器上,现在想使用windows上的idea客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, i原创 2020-10-10 10:02:35 · 695 阅读 · 0 评论 -
【IP】本地浏览器及终端无法通过域名连接远程服务器(此处指VMware中的虚拟机)
无法通过域名访问是因为Windows没有设置IP映射修改文件:C:\Windows\System32\drivers\etc添加192.168.118.200 hadoop200192.168.118.201 hadoop201192.168.118.202 hadoop202原创 2020-10-10 09:25:46 · 305 阅读 · 0 评论 -
Hadoop 2.7.2下载地址
hadoop 2.7.2原创 2020-10-09 18:58:10 · 1362 阅读 · 0 评论 -
maven ${JAVA_HOME}/lib/tools.jar 报错
解决办法:修改${JAVA_HOME}为绝对路径C:/mine/software/Java/jdk1.8.0_171/lib/tools.jar原创 2020-10-08 22:45:12 · 2814 阅读 · 2 评论 -
MobaXterm 上传文件报错 error #3
直接拖动本地项目到目录下报错:解决办法:把项目文件拖到home目录下,在复制到别的目录,此问题主要是权限不够导致。原创 2020-10-07 21:30:00 · 4880 阅读 · 5 评论 -
IDEA配置优化
一、基础配置调整VM配置文件,该文件位于安装目录下的/bin目录:我的电脑是Windows 10 16G内存,修改idea64.exe.vmoptions文件:-Xms128m,16 G 内存的机器可尝试设置为 -Xms512m(设置初始的内存数,增加该值可 以提高 Java 程序的启动速度。)-Xmx750m,16G内存的机器可尝试设置为 -Xmx1500m(设置最大内存数,提高该值可以减少Garage收集的频率,提高程序性能)-XX:ReservedCodeCacheSize=240原创 2020-10-06 22:49:23 · 913 阅读 · 0 评论 -
IDEA 连接数据库失败 Server returns invalid timezone. Go to ‘Advanced‘ tab and set ‘serverTimezone‘ property
原因:服务器返回无效时区,转到“高级”选项卡并手动设置“serverTimezone”属性。在mysql的命令行窗口输入以下命令即可:show variables like ‘%time_zone%’;set global time_zone=’+8:00’;原创 2020-10-06 22:30:41 · 136 阅读 · 0 评论 -
Linux基本命令
一、关机&重启命令1.常见的指令如下:shutdown -h now 【立刻关机】shutdown -h 1 【一分钟后关机】shutdown -r now 【立刻重启】shutdown -r 2 【两分钟后重启】halt 【立刻关机】reboot 【立刻重启】在重启和关机前,通常需要先执行:sync【把内存的数据写入磁盘】二、用户的登录和注销登录时尽量少用root帐号登录,因为它是系统管理员,最大的权限,避免操作失误。可以利用普通用户登录,登录后再用”su-用户名’命令来原创 2020-10-06 20:41:28 · 175 阅读 · 0 评论 -
vim 和 vi 的快捷键使用
拷贝当前行 yy , 拷贝当前行向下的 5行 5yy ,并粘贴 p。【快捷键在正常模式下使用】删除当前行 dd , dd , dd , 删除当前行向下的 5行 5dd在文件中查找某个单词 [命令模式下 /关键字 , 回车 查找 , ,输入 n 就是查找下一个 ]设置文件的行号 ,取消文件的行号.[ 命令行下 : set nu 和 :set nonu]编辑 /etc/profile /etc/profile /etc/profile /etc/profile 文件,使用快捷键到底档的最末行 文件,使.原创 2020-10-06 10:07:39 · 124 阅读 · 0 评论 -
SQLyog连接vmware15 centOS 7 mysql 5.7
登录VMware15 中的虚拟机CentOS7进入mysql:mysql -u root -pmysql> use mysqlmysql> update user set host = '%' where user ='root';mysql> flush privileges;输入密码连接原创 2020-10-05 21:25:10 · 138 阅读 · 0 评论 -
CentOS 7修改主机名称
查看当前主机名称状态hostnamectl修改hostnamehostnamectl set-hostname hadoop101验证修改结果hostnamectl原创 2020-10-03 21:11:27 · 101 阅读 · 0 评论 -
【转载】google大数据三大论文-中文版-英文版
大数据学习基础:google大数据三大论文-中文版-英文版转载 2020-10-03 18:01:20 · 368 阅读 · 0 评论 -
Git添加本地项目到远端仓库及首次推送输入两次账户密码
一、在github上创建远程仓库略二、本地上传找到新建项目位置,在空白处右键,点击git bash,会弹出git命令窗口:2.依次执行命令:git init //初始化本地仓库,当前目录下会出现一个名为 .git 的目录git add . //将所有文件添加到缓存区,告诉 Git 开始对这些文件进行跟踪git commit -m "done" //提交文件到本地仓库完成本地项目与git的关联。3.关联远程仓库(github上创建的地址),执行如原创 2020-10-02 18:20:56 · 502 阅读 · 0 评论 -
VMware 虚拟机CentOS 7修改IP地址
CentOS 7修改静态IP地址查看配置文件名称ip address第一个是回环地址,第二个才是本机的网卡:ens332. 修改配置文件vim /etc/sysconfig/network-scripts/ifcfg-ens33修改如下内容BOOTPROTO="static" #dhcp改为static ONBOOT="yes" #开机启用本配置IPADDR=192.168.118.70 #静态IPGATEWAY=192.168.118.2 #默认网关NETMASK=255.原创 2020-09-29 20:02:14 · 1456 阅读 · 0 评论