自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(75)
  • 收藏
  • 关注

原创 Python脚本同步Hive表结构到MySQL

【代码】Python脚本同步Hive表结构到MySQL。

2024-05-12 20:18:32 243 2

原创 pycharm本地文件更新至虚拟机

root path的路径要跟远程路径对齐,方便后续运行。点击Browse 可以在右侧同步查看更新情况。mapping映射,本地路径和远程路径。

2024-05-12 18:14:30 269 1

原创 虚拟机加载页面一直转圈

虚拟机加载页面一直转圈,登不进解决:参考链接 :https://blog.csdn.net/qq_67469987/article/details/128783247

2024-05-12 10:20:22 102 1

原创 HiveSQL练习题--基础查询

【代码】HiveSQL练习题--基础查询。

2024-05-02 18:09:54 38

原创 cd /op-bash: 无法为立即文档创建临时文件: 设备上没有空间

【代码】cd /op-bash: 无法为立即文档创建临时文件: 设备上没有空间。

2024-04-21 17:08:00 713

原创 虚拟机打不开

打不开磁盘“G:\centeros\hadoop104kl\hadoop100-cl2.vmdk”或它所依赖的某个快照磁盘。另一个程序已锁定文件的一部分,进程无法访问。模块“Disk”启动失败。

2024-04-05 11:10:36 420

原创 Hive启动命令

【代码】Hive启动命令。

2024-04-04 23:27:48 198

原创 关于hive启动的相关问题记录

主要原因是hadoop引入了一个安全伪装机制,使得hadoop 不允许上层系统直接将实际用户传递到hadoop层,而是将实际用户传递给一个超级代理,由此代理在hadoop上执行操作,避免任意客户端随意操作hadoop。参考文章https://blog.csdn.net/qq_35746739/article/details/119032729。“*”表示可通过超级代理“xxx”操作hadoop的用户、用户组和主机。当时的原因是引擎问题,安装配置了tez引擎。beeline 的常用参数。

2024-04-04 21:38:45 1125

原创 datagrip连接Presto

文件–新建–数据源–>Presto。

2024-03-24 23:17:44 184

原创 Presto安装

Presto安装记录

2024-03-24 19:33:37 295

原创 项目中遇到的sql问题记录

【代码】项目中遇到的sql问题记录。

2024-03-18 23:49:13 478 3

原创 sql join

【代码】sql join。

2024-03-17 23:52:29 277 1

原创 sql多表依次查询取第一个非空字段

【代码】sql多表依次查询取第一个非空字段。

2024-03-17 16:07:03 143

原创 NoSuchColumnFamilyException: org.apache.hadoop.hbase.regionserv

参考链接:https://www.cnblogs.com/mkl34367803/p/10723554.html。

2023-12-08 20:39:50 518

原创 IDEA插件配置--maven篇

在D盘新建一个文件夹用做本地仓库地址,例如 D:\Program Files\maven\repository,将原先C盘路径下的repository拷贝到D盘。IDEA中maven插件仓库默认地址:C:\Users\Administrator.m2\repository。修改settings.xml配置文件。

2023-12-05 16:41:26 255

原创 HBASE命令行查看中文字符

参考文章:https://www.bilibili.com/read/cv5826951/

2023-12-03 13:04:46 521

原创 hbase Master is initializing

参考文章:http://www.manongjc.com/detail/40-wusaeobbqibrftb.html。3、重启ZK、重启hadoop(hdfs、yarn)、重启hbase。2、连接ZK,执行以下命令清除Hbase数据。

2023-12-02 22:14:50 447

原创 虚拟机网络图标不见了

【代码】虚拟机网络图标不见了。

2023-08-03 22:14:55 252

原创 python os模块

【代码】python os模块。

2023-04-22 22:20:03 80

转载 Python依赖包迁移

Python依赖包迁移

2022-07-24 14:56:33 489

转载 Python selenium 基本操作

转载:https://blog.csdn.net/weixin_36279318/article/details/79475388from selenium import webdriverfrom selenium.webdriver.support.select import Selectfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.by imp

2022-04-05 10:37:46 204

原创 Python截图与存储

获取截图坐标 # left, top, right, bottomfrom PIL import ImageGrabimport pyautoguifrom openpyxl import load_workbookfrom openpyxl.drawing.image import Imageimport timedef GetIma(): print("------begin--------") time.sleep(1) # 全屏抓取 .

2022-04-05 09:07:28 766

原创 Python连接MySQL数据库

import pymysqlDBHOST = 'localhost'DBUSER = 'root'DBPASS = 'root'DBNAME = 'DBtest' # 数据库名try: db = pymysql.connect(DBHOST, DBUSER, DBPASS, DBNAME) print('数据库连接成功') # 创建一张表 cur = db.cursor() cur.execute('DROP TABLE IF EXISTS STUDE

2022-04-05 08:58:41 83

原创 idea运行报路径不存在

2022-01-03 20:52:09 424

原创 pip 配置

把PIP所在目录放到系统变量path里把Python路径放到系统变量

2021-11-17 22:18:25 353

原创 oracle求最大值及其相关属性

建表,写入数据create table H_26(xuhao number,names varchar2(5),shuliang number);insert into H_26 values(1,‘A’,20);insert into H_26 values(2,‘A’,10);insert into H_26 values(1,‘B’,20);insert into H_26 values(2,‘B’,30);insert into H_26 values(3,‘B’,50);inse..

2021-05-30 17:27:51 228

原创 Windows安装Scala步骤详解

Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。官网下载 scala2.10:http://www.scala-lang.org/download/2.10.4.html下载好后安装。双击msi包安装,记住安装的路径。配置环境变量1、新建SCALA_HOME2、编辑系统的Path变量,在后面追加如下:;%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;3、编辑系统的Classpath..

2021-05-25 23:18:44 1140

原创 HDFS中文件的副本数量设置

setrep:设置HDFS中文件的副本数量设置副本数前设置副本数后在对应的路径设置所需副本数,如下hadoop fs -setrep 6 /TFBOYS/KarryWang/xiaopangxie.txt这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到6台时,副本数才能达到6。...

2020-09-25 21:47:42 3752

原创 HDFS的Shell操作

1、基本语法bin/hadoop fs 具体命令bin/hdfs dfs 具体命令dfs是fs的实现类2、常用命令hdfs dfs (查看一些基本命令)启动Hadoop集群start-dfs.shstart-yarn.shhadoop fs -help rm (帮助查看命令)hadoop fs -ls / (查看根目录)hadoop fs -ls -R / (递归查询根目录)hadoop fs -mkdir -p /TFBOYS/KarryWang (在根目录下

2020-09-23 23:06:50 130

原创 HDFS文件块大小

HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数来规定,默认大小在hadoop2.x版本中是128 M,老版本中是64M– 如果寻址时间约为10ms,即查找到目标block的时间维10ms– 寻址时间为传输时间的1%时,则为最佳状态。– 目前磁盘的传输速率普遍为100MB/s为什么块的大小不能设置太小,也不能设置太大?(1)、HDFS的快设置太小,会增加寻址时间,程序一直在找块的开始位置(2)、如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的.

2020-09-14 22:53:14 1231 1

原创 HDFS概述

分布式文件管理系统:一种系统管理多台机器上的文件,HDFS 是分布式文件管理系统的一种。HDFS(hadoop distributed file system),它是一个文件系统,用于存储文件,通过目录树来定位文件;HDFS 的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。优缺点优点:(1)、高容错性– 数据自动保存多个副本。它通过增加副本的形式,提高容错性。–某一副本丢失以后,可以自动恢复(2)、适合处理大数据–数据规模:能.

2020-09-14 22:18:00 138

原创 hadoop配置日志的聚集

应用运行完成以后,将程序运行日志信息上传到HDFS系统上。开启日志聚集功能,需要重新启动NodeManager、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下:1、配置yarn-site.xml进入etc目录下cd etc/hadoop/vi yarn-site.xml把下面内容配置到yarn-site.xml<!--日志聚集功能使能--><property><name>yarn.log-aggr

2020-09-12 15:34:30 331

原创 hadoop单节点 配置历史服务器

1、配置mapred-site.xml先进入etc目录cd etc/hadoop/vi mapred-site.xml在该文件里面增加如下配置。(将karry01改为自己的节点)<!--历史服务器端地址--><property><name>mapreduce.jobhistory.address</name><value>karry01:10020</value></property><!

2020-09-12 13:09:09 115

原创 hadoop单节点配置yarn-site.xml和mapred-site.xml

先进入hadoop目录etc下1、配置yarn-site.xmlvi yarn-site.xml最后一个value的值要改成自己的<!--Reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定YARN的Resourc

2020-09-12 00:03:02 1037

转载 Hadoop安装包目录结构

https://blog.csdn.net/henrrywan/article/details/88343529

2020-09-11 23:00:47 229

原创 详解hadoop单词统计案例(word count)

首先,进入hadoop目录下cd hadoop-2.7.0/然后,在本地新建一个目录mkdir coninput在coninput 文件夹下新建一个文件cd coninput/touch wc.test往文件里添加任意单词后并保存,返回上一级目录新建一个HDFS目录bin/hdfs dfs -mkdir /user/root/temp将本地文件上传到 HDFS目录下bin/hdfs dfs -put coninput/wc.test /user/roo.

2020-09-08 22:43:36 712

原创 打开hadoop的网页web端

先启动集群start-dfs.sh jps 测试一下是否启动方法一:输入 虚拟机ip:50070方法二:输入设置好的名称:50070

2020-09-08 21:35:22 13054

原创 ORACLE 数据字典

当前用户SHOW USER; 获取当前用户能访问的数据字典SELECT * FROM DICTIONARY; 查询用户创建的表SELECT * FROM USER_TABLES; 数据字典的命名规则常用的数据字典用户创建的数据库对象SELECT * FROM USER_OBJECTS;用户能访问的数据库对象SELECT * FROM ALL_OBJECTS;查询列注释--建表CREATE TABLE PRODUCT(APP.

2020-09-02 17:38:48 130

原创 hadoop免密登录设置

主节点test00,从节点test01主节点执行以下命令,回车到结束,生成免秘钥ssh-keygen -t rsa 查看是否生成 .ssh 文件ls -lacd .sshls -la返回根目录cd ~ scp .ssh/id_rsa.pub root@192.168.181.66:~测试是否能直接登录从节点ssh test01从节点执行以下命令,回车到结束,生成免秘钥ssh-keygen -t rsals -lallcat i.

2020-07-14 00:03:24 334

转载 WARNING: You are using pip version 19.2.1, however version 20.1.1 is available.

WARNING: You are using pip version 19.2.1, however version 20.1.1 is available.You should consider upgrading via the ‘python -m pip install --upgrade pip’ command.问题:安装包的时候报错,执行 python -m pip install --upgrade pip命令还是不能解决解决: 需要加个user,如下:python -m pi

2020-06-28 23:45:43 195

hive基础查询文档上传

hive基础查询文档上传

2024-03-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除