- 博客(8)
- 收藏
- 关注
RSS订阅原创 sql语句实现按照逗号分割，一行数据变成多行数据
通过dual表生成10条数据对AA表进行关联，把数据扩展成按照逗号分隔后的长度，接下来处理逗号分隔后的数据，使用regexp_substr函数进行数据分隔。modifier：模式（‘i’不区分大小写进行检索；默认为’c’）针对的是正则表达式里字符大小写的匹配。position：起始位置，从字符串的第几个字符开始正则表达式匹配（默认为1） 注意：字符串最初的位置是1而不是0。occurrence：获取第几个分割出来的组（分割后最初的字符串会按分割的顺序排列成组）pattern：进行匹配的正则表达式。
2024-01-03 10:35:35
3393
2
原创 ORACLE常用命令
数据库导出dmp文件--剔除特定的表：expdp tusp/tusp schemas=tusp directory=DATA_PUMP_DIR dumpfile =TUSP0724.dmp EXCLUDE = TABLE:\"IN\(\'table_name\',\'table_name\'\)\" logfile = expdp_20230724.log。3、首先替换把A文件的路径复制到B文件路径下面，更换dbf文件路径,文件路径查询：DBA_DATA_FILES;3：允许已存在的数据文件自动增长。
2024-01-02 08:40:43
818
原创 hive环境的搭建
复制hive-env.sh文件conf文件夹下：cp hive-env.sh.template hive-env.sh。复制hive-default.xml.template的开头作为hive-site.xml的头。master上为hive创建MySQL账户，赋予足够权限。配置HADOOP_HOME和HIVE_CONF_DIR。启动命令（使用derby做元数据存储）：hive。配置hive-site.xml 文件。配置hive-site.xml。必须要有mysql环境，启动hive：hive。
2023-12-13 20:57:26
23
原创 hadoop高可用集群搭建
启用高可用把主节点生成的data文件夹传到slave1中：scp -r data slave1:/usr/apps/ha-hadoop/hadoop-2.7.1/slave1节点： sbin/yarn-daemon.sh start resourcemanager。ssh免密的私钥：scp -r id_rsa slave2:/root/.ssh。启动dfs，可以看到两个namenode启动：sbin/start-dfs.sh。主节点master：sbin/start-yarn.sh。
2023-12-09 21:38:51
386
原创 zookeeper的安装
在上面server.N对应的主机的data目录下创建一个myid文件，里面内容是N（server.1对应的master里面的myid文件内容为1 server.2对应的slave1里面的myid文件内容为2， server.3对应的slave2里面的myid文件内容为3）修改/etc/profile 一定要 source /etc/profile。创建（key-value形式）：create /age 18。进入zookeeper: bin/zkCli.sh。6、启动zookeeper。
2023-12-09 16:39:05
25
原创 hadoop中HDFS中的shell命令
类似剪切：hadoop fs -moveFromLocal ./test1.txt /test/input。必须在hadoop的目录下执行 ： bin/hdfs df -ls /单位bit：hadoop fs -du /文件必须是上传过的文件。
2023-12-08 22:28:23
118
原创 hadoop环境的启动和验证
统计上传的文本单词数(/usr/apps/dist-hadoop/hadoop-2.7.1/ 可以替换成：$HADOOP_HOME)：hadoop jar /usr/apps/dist-hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/input/README.txt /test/output/output1。原因是主机名没有修改成hosts中配置的主机名。
2023-12-06 22:42:16
254
原创 HADOOP分布式搭建环境
在/usr/apps/dist-hadoop/目录中解压上传的Hadoop压缩包：tar -zxvf hadoop-xx.tar.gz。把公钥复制到要免密登录的机器上（master是/etc/hosts中配置的IP地址）：ssh-copy-id master。JAVA环境准备：上传下载好的JDK到：/usr/local/java/ 目录下，配置完成profile之后，都需要： source /etc/profile。传输JAVA运行环境到其余两台机器上：cd /usr/local/java/
2023-12-06 21:15:24
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人