- 博客(7)
- 收藏
- 关注
RSS订阅原创 不可见字符u200b，SQL去除
适用场景：爬虫得到数据写入数据库，不可见字符不显示做数据流转时，比如数据转到其他库中，数据会显示u200b去除u200breplace(所在字段,'\u200b','')
2022-02-08 20:34:23
1013
原创 Scala流程控制For循环
For循环控制Scala 为 for 循环这一常见的控制结构提供了非常多的特性，这些 for 循环的特性被称为 for 推导式或 for 表达式。目录一、范围遍历二、集合遍历三、循环守卫四、循环步长五、嵌套循环六、引入变量七、循环返回值一、范围遍历package chapter04object Test02_Forloop { def main(args: Array[String]): Unit = { //带着编号输出10次hello..
2021-11-07 14:01:30
288
1
原创 Azkaban基础案例演示
1）在 windows 环境，新建 azkaban.project 文件，编辑内容如下azkaban-flow-version: 2.02）新建 basic.flow 文件，内容如下nodes: - name: jobA type: command config: command: echo "Hello World"3）注意文件后缀名不可变。将 azkaban.project、basic.flow 文件压缩到一个 zip 文件，文件名称必须是英文。azkaban.project 文..
2021-10-31 15:25:14
113
原创 HBase删除数据的真正时间
1.Flash时也会删除数据put进两条数据，scan只显示一个时间戳大的，显示多版本才会出现两个这时flash表一下，显示多版本也只会显示一个时间戳大的。再put一条数据，刷写一下，显示多版本的时候会包括之前的那个Flash刷写时把同一个内存中的删除，刷写时只管内存空间，也就是刷写成功的写入磁盘的是不会删除的。2.合并时会删除数据这时会把之前的旧版本都删除掉Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大 HFile，并且会清理掉过期和删除的数据。总结：在Fl
2021-10-25 08:56:54
573
原创 Hive企业级优化之分区表
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。一、分区表的基本操作1.创建分区表2.插入数据进入分区表3.查看分区表的数据4.增加分区5.删除分区6.查询分区7.查看分区表结构二、分区表注意事项1.建立二级分区表2.插入数据3.查询分区数据...
2021-10-17 10:46:57
301
原创 Hadoop_MapReduce_WordCount集群运行失败解决
报错（hadoop3.1.3版本问题）：conf.Configuration: resource-types.xml not found.......Container exited with a non-zero exit code 1. Error file: prelaunch.err.解决：mapred-site.xml文件添加<property> <name>yarn.app.mapreduce.am.env</name> <...
2021-09-18 18:32:54
1964
4
原创 Python、PyCharm安装及配置
一、python环境的安装1.下载python，官方网站 https://www.python.org/点击Downloads下载最新版本2.选择自定义安装，继续3.全部勾选，下一步4.自定义安装路径5.等待下载，close6.测试是否安装成功，打开命令提示符输入python,出现版本号即可二、pycharm安装1.下载pycharm,官方网站 :http://www.jetbrains.com/pycharm/download选择Commun...
2021-09-18 18:07:24
212
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人