- 博客(33)
- 资源 (2)
- 收藏
- 关注
原创 ubuntu24 安装postgresql16
2.接下来,编辑 pg hba.conf 文件的 IPv4 本地连接部分,以允许来自所有客户端的 IPv4 连接。1.使用编辑器打开 /etc/postgresql/16/main/postgresql.conf 配置文件。在上面的输出中,postgres=# 提示符表示与 PostgreSQL 服务器的活动连接。3.如果开启了防火墙,那么使用下面的命令允许 PostgreSQL 5432 端口。6. 让我们验证一下密码是否设置成功,使用 \q 命令终止与服务器的当前会话。输入秘密:zhenghu。
2024-05-26 16:03:13 535
原创 Star_export.sh 数据从StarRocks到处落地CSV 文件中
【代码】Star_export.sh 数据从StarRocks到处落地CSV 文件中。
2024-04-21 08:55:22 213 1
原创 Star_loaddata.sh 数据文件加载到 StarRocks
【代码】Star_loaddata.sh 数据文件加载到 StarRocks。
2024-04-21 08:53:49 100
原创 通过 ProxySQL 均衡负载 StarRocks, doris
mysql -udev_user -pdev_pswd99 -h172.00.01.03 -P6032 // 通用用户登录。#(StarRocks 启动命令异常) ./usr/bin/proxysql -c ./etc/proxysql.cnf --no-monitor。mysql -u admin -padmin -h 127.0.0.1 -P6032 -- 这里是管理方式的登录。备注:这里登录的是ProxySQL(如果使用 StarRocks 账户是无法登录的)
2024-04-21 08:50:22 540
原创 获取星座自定义函数,oracle 数据库
09月23日─10月22日 天秤座 空气 淡红。05月21日─06月21日 双子座 空气 黄。11月22日─12月21日 射手座 火 紫红。03月21日─04月20日 白羊座 火 红。04月21日─05月20日 金牛座 土 绿。06月22日─07月22日 巨蟹座 水 白。07月23日─08月22日 狮子座 火 橙。08月23日─09月22日 处女座 土 灰。
2024-04-21 08:44:50 374 1
原创 分割枚举值函数,oracle 数据库
-++处理字符串例如--员,(THEN RE_STR := RE_STR || FIRST_STR1 || ';--处理有分隔符,空格,括号的。--创建日期:2014-12-31。
2024-04-21 08:43:34 546 1
原创 CDH6.2 增加节点
rpm -ivh cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm -- 节点(新增加节点 需要删除/opt/cloudera/cm-agent 在安装)scp -r /opt/cloudera root@IP(01,02,03 多个新增节点一样的操作):/opt/cloudera -- 复制新节点后删除 cm-agent。8: 安装cloudera-scm-agent依赖服务。10: 把其他节点上的 文件复制新节点上。上述文件中的值都修改为0。
2024-04-14 21:11:34 676 2
原创 CDH6.2 版本安装过程
update user set authentication_string = password('密码'), password_expired = 'N',update mysql.user set authentication_string=password('密码') where user='root';update mysql.user set authentication_string=password('密码') where user='root';11、安装配置mysql。
2024-04-14 16:28:52 262 1
原创 impala使用;kudu 的安装,python 链接 kudu
- 创建临时表(直接加载HIVE 的。hdfs dfs -put /home/table_name.csv /input/data/pujh -- 把加载推送上去(权限问题要注意)# --------------------(CDH6.2) HUE 权限设置 ------------------------------ 把user1_role 用户的权限给 user1。-- sed -i "s/\t/,/g" table_name.tmp -- 文件中 tab键替换成逗号 HIVE 加载 ----
2024-04-14 16:19:54 683 1
原创 HDFS 数据迁移分区表(hive,hadoop)
考虑从/source/first和 /source/second/ 拷贝文件到/target/# -------------- 跨集群数据同步(先建立表 文件在复制对应的 表文件下) ------------# ---------- 先提前创建分区内容(会记录到源数据里面,负责没数据的) -------------------------- scp 远程复制脚本 ----------------------# ---------------- HIVE 导入本地文件 -------------------
2024-04-14 15:58:00 770 1
原创 HDFS 跨集群数据同步(hive,hadoop)
echo "${db_name}.${table_name} ${part_date} 迁移开始"echo "${db_name}.${table_name} ${part_date} 迁移完成"两个不同的HDFS 集群数据迁移( A集群的数据 -> B 集群) 采用的是 SHELL 脚本。#计算两个时间戳的差值除于每天86400s即为天数差。#迁移 网络限制300M 增量形式迁移。echo "${days} 天数据"#创建日期: 2020-04。#将日期转为的时间戳格式。
2024-04-14 15:40:51 1706 1
原创 hadoop2.6 安装后基础介绍
JobTracker和 TaskTracker采用主-从形式,JobTracker跨DataNode分发工作,而 TaskTracker执行任务。3:修改Hadoop 的MapReduce 的配置文件mapred-site.xml,主要是配置jobTracker的地址和端口;它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问。# -----------配置文件------------# ---------安装目录-------------
2024-04-14 15:37:34 117 1
原创 hadoop2.X 版本安装(源生态版本) hive sqoop 的安装
-- 下载mysql-connector-java-5.1.27-bin.jar文件,并放到$HIVE_HOME/lib目录下。/usr/local/hadoop/hadoop-2.6.0/etc/hadoop -- 存放配置文件位置;/etc/init.d/ssh start --安装ssh完成后启动服务。hadoop-env.sh --修改JAVA_HOME 路径。yarn-env.sh --修改JAVA_HOME 路径。
2024-04-14 15:34:44 1731 1
原创 MySQL - 自定义函数-剔除数组中重复值
函数作用:剔除数组中重复值。创建日期:20xx-xx。创建日期:20XX-XX。函数作用:剔除数组个数。
2024-04-14 09:26:08 129 1
原创 数仓-建设时间维度表 使用MYSQL 生成基础表;
------------------- 获取自然二年周 -------------------------------year_mm_name=concat(year(t.date_id),'年',substr(t.date_id,6,2),'月'),concat(year(t.date_id),'年',substr(t.date_id,6,2),'月') as year_mm_name1,year_d_name=concat('第',dayofyear(t.date_id),'天')
2024-04-14 09:23:12 730 1
原创 大数据分批 加载 postgresql 或者holo
注释内容" >> ${path}/log.log。echo "$(date "+%Y-%m-%d %H:%M:%S") -- 开始替换 ${dest_path}/${split_file}/${ifile} " >> ${path}/log.log。echo "$(date "+%Y-%m-%d %H:%M:%S") -- 结束替换 ${dest_path}/${split_file}/${ifile}" >> ${path}/log.log。
2024-04-13 19:41:53 875
原创 centos7 下安装 pg15
psql -d template1 -c "ALTER USER postgres WITH PASSWORD '密码';PostgreSQL数据库: psql -h IP地址 -p 端口 -d 数据库名 -U 登录用户名。2. 使用postgres登录,并修改数据库账户postgres的登录密码。\dt schema.table_name -- 列出某一张表格的结构。# ---------- 常用命令 -----------\l -- 显示所有的数据库。\q -- 断开数据库连接。
2024-04-13 16:12:40 616
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人