- 博客(68)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 linux定时删除oracle自动归档日志
oracle安装目录/flash_recovery_area/实例名/archivelog。如果不及时清理oracle的自动归档日志，可能会导致磁盘分区占满，导致oracle挂载。2. 给脚本授权：chmod 777 clear_archivelog.sh。1. 创建定时清理脚本：vim clear_archivelog.sh。
2022-10-28 11:14:56
2551
1
原创 安装mysql后：1.启动mysql服务报错 2.修改密码报错
报错1：Starting mysqld (via systemctl): Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe" for details.报错2：ERROR 3009 (HY000): Column count of mysql.user is wrong. Ex
2022-09-05 22:54:01
379
原创 浏览器连不上 Flink WebUI 8081 端口
安装flink-1.15.1 后，start-cluster.sh 启动，发现浏览器连不上 Flink WebUI 的8081端口。解决方法：打开 flink-1.15.1/conf/flink-conf.yaml 文件，修改为：rest.bind-address: 0.0.0.0
2022-08-18 20:08:51
6309
3
原创 开仓风险计算器.xlsx（可计算：名义价值、最大资金亏损、开仓所需保证金、开仓资金杠杆、最小逐仓保证金、U本位需开张数、币本位需开张数）
通过输入：总仓保有价值+最大资金亏损+止损位回撤+开仓合约杠杆等必要数据。可计算出：开仓名义价值 、最大资金亏损、开仓所需保证金、开仓资金杠杆、最小逐仓保证金、U本位需开张数、币本位需开张数。..................
2022-08-17 21:50:23
1182
原创 java写入oracle表，模拟数据的实时更新（附案例）
java实时插入假数据，实现订单事实表的模拟增量更新。步骤1：在oracle数据库中创建一张订单事实表。步骤2：运行java代码。步骤3：查看表数据，数据插入成功。
2022-08-16 23:21:57
1399
原创 yum 安装报错 [Errno 14] Could not open/read file:///mnt/cdrom/HighAvailability/repodata/repomd.xml
yum 安装报错 [Errno 14]，在虚拟机上挂载 iso 镜像文件，执行mount挂载命令。
2022-08-10 21:14:24
1250
原创 Pine脚本 | 如何显示和排版绘图开关？
如何使用 inline、group 参数进行排版，explicit_plot_zorder=true 可以使 plot() 按顺序输出.
2022-07-09 00:38:36
355
原创 Pine脚本 | 如何在指标弹窗上添加数据源列表？（附案例）
什么是数据源？即每根K柱的价格，这个“价格”有不同的形式，比如：open 开盘价 “o”；close 收盘价 “c”；high 最高价 “h”；low 最低价 “l”；hl2 即 (h+l)/2；hlc3 即 (h+l+c)/3；ohlc4 即 (o+h+l+c)/4。...
2022-03-18 22:45:15
957
原创 通过ssh协议实现Windows与Linux之间的文件互传
一、在 Windows 终端，通过 ssh协议连接 Linux，实现文件互传（Windows 连 Linux）；二、在 Linux 终端，通过 ssh协议连接 Windows，实现文件互传（Linux 连 Windows）；三、在 Linux 终端，通过 ssh协议连接 Linux，实现文件互传（Linux 连 Linux）
2022-03-15 21:38:13
28901
7
原创 Linux中使用crontab实现定时任务调度（附案例）
cron可以让系统在指定的时间，去执行某个指定的工作，我们可以使用crontab指令来管理cron机制。minute hour day month dayofweek command（分时日月周）minute - 从0到59的整数hour - 从0到23的整数day - 从1到31的整数 (必须是指定月份的有效日期)month - 从1到12的整数 (或如Jan或Feb简写的月份)dayofweek - 从0到7的整数，0或7用来描述周日 (或用Sun或Mon简写来表示)
2022-03-14 22:28:46
4292
原创 Yarn运行原理，以及三大组件ResourceManager、NodeManager、ApplicationMaster的介绍
Yarn运行原理，以及三大组件ResourceManager、NodeManager、ApplicationMaster的介绍
2022-03-05 18:45:32
1057
原创 Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
NameNode是什么？DataNode是什么？SecondaryNamenode是什么？
2022-03-03 13:23:48
5568
原创 VMware Workstation 错误：“以独占方式锁定此配置文件失败。另一个正在运行的VMware进程可能正在使用配置文件。”的解决方法
VMware Workstation 错误：“以独占方式锁定此配置文件失败。另一个正在运行的VMware进程可能正在使用配置文件。”的解决方法。
2022-03-02 10:35:05
7813
5
原创 求连续n天登录id（附案例：求连续三天登录人员）
1、先对用户和日期进行联合去重；2、对同一人的不同日期进行排列序号；3、用日期减去序号，得到一个临时日期；4、以用户和临时日期作为聚合维度，筛选出临时日期个数 >= n 的行
2022-03-01 22:55:01
334
原创 Hive表中有上百万条用户数据，怎么只对其中一个用户修改数据？（附案例）
思路：直接覆写，先弄出完整的增量行，然后排除掉旧内容得出有效的全行数据，最后进行合并查询，得到完整有效的全行数据。
2022-03-01 14:01:26
1055
原创 SparkSQL中纵向迭代计算的3种方式，枚举、python的for循环、pandas_UDF函数（附案例）
SparkSQL中关于纵向迭代计算的3种方式：枚举、python的for循环、pandas_UDF函数
2022-02-28 12:51:09
1753
1
原创 SparkSQL中横向迭代计算的4种方式，以及子查询、临时视图、永久视图、缓存表之间的区别？（附案例）
永久视图 view：永久保存一段查询语句的逻辑；临时视图 temporary view：只在当前会话生效；缓存表cache table：只在当前会话有效，将一段查询结果集缓存到内存；table：永久有效，保存数据结构和数据本身到磁盘；with as：当子查询的嵌套层数太多时，可以用with as 增加可读性。
2022-02-28 01:10:02
1211
原创 SparkSQL的执行流程（附常量折叠、谓词下推、列裁剪案例）
和 RDD 不同, SparkSQL 的 Dataset 和 SQL 并不是直接生成计划交给集群执行, 而是经过了一个叫做 Catalyst 的优化器, 这个优化器能够自动帮助开发者优化代码。Catalyst 的两大优化：RBO：基于规则的优化，比如谓词下推，列裁剪，常量折叠；CBO：基于代价的优化，多种物理计划基于cost model，选取最优的执行耗时最少的那个物理计划。
2022-02-27 12:16:07
2183
原创 Spark中ThriftServer、HiveServer2、MetaStore、Beeline之间的关系
在实际大数据分析项目中，使用 SparkSQL 时，往往启动一个 SparkThriftserver 服务，分配较多资源（Executor数目和内存、CPU），不同的用户启动客户端比如 beeline 连接它，编写SQL语句分析数据，方便集中管理。
2022-02-26 23:52:26
3008
原创 SparkSQL中的自定义函数UDF、UDAF、UDTF（附UDF实现案例）
UDF 函数（User-Defined-Function）一对一的关系，UDAF 聚合函数（User-Defined Aggregation Function）多对一的关系，UDTF 函数（User-Defined Table-Generating Functions）一对多的关系。
2022-02-26 18:27:38
1274
原创 在Linux的Spark中集成Hive，以及在Pycharm中集成Hive（附案例）
为什么要集成Hive？因为在Linux中的Spark安装包，默认是不能直接读取hive的表的，需要集成hive才能读取hive的库和表；在Linux的Spark中集成Hive；在Pycharm中集成Hive。
2022-02-26 12:52:14
1568
原创 SparkSQL中读取数据和写出数据（附案例）
Spark 读取数据的统一入口，Spark 写出数据的统一出口，Spark 写出数据有 4 种方式：append、overwrite、ignore、errorifexists。SparkSQL读取数据的综合案例，SparkSQL写出数据的综合案例。
2022-02-25 13:30:22
3983
原创 Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例）
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例），SQL风格先把DataFrame注册成一个临时视图，DSL风格其实就是DataFrame对象调用API的过程。
2022-02-23 20:28:57
2805
原创 Spark中的DataFrame是什么？以及如何构建DataFrame？（附案例）
在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，是一种特殊的RDD，是一个分布式的表，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有 schema 元信息，即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型。
2022-02-23 01:12:05
9341
1
原创 Spark的Shuffle过程，HashShuffle、SortShuffle
Spark 在DAG调度阶段会将一个 Job 划分为多个 Stage，上游 Stage 做 map 工作，下游 Stage 做 reduce 工作，其本质上还是 MapReduce 计算框架。Shuffle 是连接 map 和 reduce 之间的桥梁，它将 map 的输出对应到 reduce 输入中，涉及到序列化反序列化、跨节点网络IO以及磁盘读写IO等。
2022-02-21 19:47:00
1268
原创 Spark广播变量和累加器（附案例）
如果使用了广播变量技术，则 Driver 端将共享数据只会发送到每个 Executor 一份。Executor 中的所有 Task 都复用这个对象。Spark提供的 Accumulator，主要用于多个节点对一个变量进行共享性的操作。Accumulator 只提供了累加的功能，即确提供了多个 task 对一个变量并行操作的功能。
2022-02-21 16:01:18
862
原创 Spark中的RDD Checkpoint 检查点机制（附案例）
Checkpoint 的持久化是存储在HDFS上的，因为具备高可用，所以非常可靠，但会切断执行 checkpoint RDD的依赖关系。Checkpoint 常用于RDD数据备份，以便从HDFS中恢复。
2022-02-20 23:58:51
527
原创 Spark中的RDD持久化缓存 cache()、persist()（附案例）
我们可以使用缓存函数：cache()、persist() 来持久化存储某个RDDn的数据集到内存或磁盘中，方便后期复用该RDD时无需从头计算。
2022-02-20 22:33:57
2544
原创 Spark算子中groupByKey和reduceByKey的区别
Spark算子中groupByKey和reduceByKey的区别，groupByKey 的 shuffle 的数据量大，容易造成子RDD的分区的内存溢出。如果做 wordcount 词频统计，那么需要继续手动 mapValues 才能得到结果。reduceByKey 有 2 阶段的聚合，性能快。在父RDD分区内做了预聚合，在子RDD的分区内再次聚合。
2022-02-20 18:46:06
217
原创 提交Spark应用程序的三种方式
提交Spark应用程序的三种方式，standalone HA 下的 client 本地模式，standalone HA 下的 cluster 集群模式，saprk on yarn 下的 cluster 集群模式
2022-02-19 16:45:56
886
开仓风险计算器.xlsx（可计算：名义价值、最大资金亏损、开仓所需保证金、开仓资金杠杆、最小逐仓保证金等...）
2022-08-17
某香港大神的程式化交易干货分享
2022-02-17
flinkSQL创建kafka源表，解析ogg-json失败
2022-08-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人