笔记
文章平均质量分 62
久生情123
搬砖
展开
-
git推送新项目
2原创 2022-08-04 17:50:59 · 527 阅读 · 0 评论 -
java打jar包添加第三方依赖
java打包原创 2022-08-03 16:55:48 · 680 阅读 · 0 评论 -
redis基础命令
Redis 默认有16个数据库默认使用的是第0个数据库不同数据库存不同的值数据库切换数据库select127.0.0.1:6379> select 1 OK 127.0.0.1:6379[1]>[]中的数字即为数据库编号(0 号数据库为默认,不展示编号)。查看当前数据库大小dbszie127.0.0.1:6379[1]> dbszie (integer) 1清空当前库flushdb127...转载 2022-04-24 17:20:51 · 445 阅读 · 0 评论 -
fusioninsight HD连接hive
安全模式windows环境下连接:我使用的是pyhive连接方式,还需下载sasl包(本地下载不下来,要到指定网站去下),连接hiveserver一直报错:from pyhive import hiveconn = hive.Connection(host='172.23.44.2', port=21066, username='hengtian', database='default', auth='KERBEROS',kerberos_service_name="hive")curso原创 2022-03-02 13:54:24 · 601 阅读 · 0 评论 -
hadoop集群搭建
本机基本配置(hadoop配置要求)网卡配置配置主机名(自己给自己起一个名字)修改host映射(方便多台机器之间互传资料)关闭防火墙克隆之后记得删除多余的网卡重启电脑,使网卡生效其他俩台机器按照上面重新操作一遍记得修改对应的内容(hadoop02 hadoop03)免密登陆SSH安装免密登录客户端:yum install -y openssh-clients生成...原创 2022-02-27 17:24:43 · 76 阅读 · 0 评论 -
hdfsAPI
package test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.apache.parquet.example.data.Group;import org.apache.parquet.hadoop.ParquetReader;import org.apache.parquet.hadoop..原创 2021-10-08 09:54:12 · 85 阅读 · 0 评论 -
hbaseAPI
package com.atguigu.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class TestAPI { private .原创 2021-10-05 14:33:29 · 62 阅读 · 0 评论 -
spark编程笔记
表达能力MapReduce需要将所有计算转换为Map和Reduce,难以描述复杂处理过程;Spark除Map和Reduce外,还支持RDD/DataFrame/DataSet等多种数据模型操作,编程模型更加灵活。磁盘IOMapReduce每步运算都要从磁盘读取数据,结束后写入磁盘数据,仅有小部分数据作为临时缓存放入内存,磁盘IO开销比较大;Spark将中间结果直接放入内存,既提高了迭代运算效率,又避免了大量的重复计算,据官方提供数据,同样迭代运算效率Spark:Hadoop=110:0.9。任务原创 2021-09-25 12:08:27 · 193 阅读 · 0 评论 -
hdfs笔记
CentOS 7.0默认使用的是firewall作为防火墙查看防火墙状态systemctl status firewalld停止firewallsystemctl stop firewalld禁止firewall开机启动systemctl disable firewalldfirewall开机启动systemctl enable firewalld修改主机名hostnamectl set-hostname 'new name'2021-8.21.查看ip地址的命令:ipconfi原创 2021-09-25 12:06:46 · 442 阅读 · 0 评论