FlinkCDC将MySQL的Binlog数据以纯FlinkSQL落表至Hive 目的使用FlinkSQL（1.13.6）纯SQL方式，通过FlinkCDC（2.1.1）获取MySQL的Binlog数据，以流的形式同步到Hive表中。小文件问题可使用FlinkSQL批处理定期执行表合并来解决。步骤启动MySQL的Binlog功能（略）FlinkCDC获取MySQL Binlog并写入Kafka表；-- 读取MySQL源表DROP TABLE IF EXISTS mysql_cdc;CREATE TABLE mysql_cdc ( `do_date`
树莓派（arm64）配置JetBrains Client JB Client简介JBC是JB实现远程开发的工具，有单独程序或集成在2021.3版本的各IDE中，本机只负责显示、渲染代码等工作，重计算的任务都交由后台服务器，更重要的是直接使用了远端服务器的环境。本文目的当前最新版本Idea是2021.3.1，直接使用JB Client下载树莓派远端IDE是无法启动的，会一直显示启动失败，故需要对其进行手动处理。本文使用树莓派4b + ubuntu示例。解决树莓派启动JB Client失败的问题单独启动测试使用JBC下载好需要的IDE，会发现启动失败。
树莓派无界面连接需验证的WIFI 需求描述硬件：树莓派4B一台，公司WIFI（需验证），无外接显示器。需求：连接公司WIFI并联网。实现逻辑在可联网的环境，如在家插入网线配置好SSH登录，安装nmcli，配置好目标WIFI信息，建议同时配置好手机WIFI，方便出问题时直接连接手机调试。命令工具安装# 安装nmcli工具sudo apt install network-manager# 连接wifi的命令为nmcli device wifi connect [wifi_name] password [your_pw]#
Clion + Docker + ROS + Vnc远程开发环境搭建 实现功能CLion在运行在Docker上的Ubuntu上进行ROS开发，可以通过frp实现真正的远程开发（仅猜想），本机可通过VNC连接Ubuntu使用ROS相关的GUI功能。工具JetBrains Client：2021.3之后推出的RemoteDevelopment功能；Docker + ubuntu 18.04：docker pull ubuntu:18.04 拉取即可；ROS：因为ubuntu使用的版本为18.04，故ROS版本选择melodic。Ubuntu配置过程安装docker略
JetBrains IDEA/Clion/Client + ROS 远程开发环境搭建 实现功能CLion在运行在Docker上的Ubuntu上进行ROS开发，可以通过frp实现真正的远程开发（仅猜想），本机可通过VNC连接Ubuntu使用ROS相关的GUI功能。工具JetBrains Client：2021.3之后推出的RemoteDevelopment功能；Docker + ubuntu 18.04：docker pull ubuntu:18.04 拉取即可；ROS：因为ubuntu使用的版本为18.04，故ROS版本选择melodic。Ubuntu配置过程安装docker略
[RaspberryPi] 一键部署树莓派Zero电子相框功能！ 特点原安装过程请见：https://www.yuque.com/docs/share/6c661b17-8ef8-4704-98b9-211f0a237192?# 《相框2.0》# 原安装过程当前方案的特点：树莓派无需连接广域网；树莓派组件一键部署。硬件树莓派Zero（非W，不需要WiFi和蓝牙功能），这玩意儿的性能，大家心里要有数微雪7.5寸墨水屏微雪驱动板7寸相框+卡纸microUSB数据线32g TFWindows电脑一台部署下载安装包链接：https://pa
IDEA Run Target远程执行Java & Debug 准备整体为Windows下使用IDEA编写Java程序，而包需要上传到Linux服务器运行，本机没有完整运行环境（同理可用于Mac，Mac配置rsync更简单，实际上我免密都没有做就配置成功，且不知道为什么，Mac使用起来rsync的效率比Windows高非常多）。WIN10：其它windows版本可能需要安装openssh；Linux服务器：完整环境所在，用于调试Java程序；IDEA新版（当前使用2021.2）：支持run target功能，见下图。将Markdown文件渲染成HTML后以邮件形式发送出去，添加对文字颜色修改的功能，添加对本地内嵌图片的支持。用法java -jar EmailServer.jar Receiver Title MdFile参数None自定义功能实现文字编辑自定义颜色功能格式如下：$\c{grey}{This an KaTeX parse error: Expected 'EOF', got '}' at position 8: example}̲KaTeX p
Windows设置并切换代理服务器 写在前边作用通过BAT脚本对WIN代理服务进行开关，以达到访问外网的功能；参考BAT基本是搬运的，只增加了一个小细节——是否勾选“请勿将代理服务器用于本地(Intranet)地址”；主要参考（几乎全抄）：利用Win10批处理bat文件实现自动修改ip与代理设置将要参考：dos命令行设置IE代理的实现代码代理服务器设置我是使用手机的V2RAY懂的就懂，在它的“设置”中勾选“允许来自局域网的连接”，其中HTTP默认代理端口即为10809，然后在WIFI中能看到自己的IP地址，即为图中设置；两台
MAC全版本设置合盖不休眠 直接命令行# 禁止合盖休眠alias dislid='sudo pmset -b sleep 0; sudo pmset -b displaysleep 0; sudo pmset -b disablesleep 1'# 启动合盖休眠alias enlid='sudo pmset -b sleep 15; sudo pmset -b displaysleep 10; sudo pmset -b disablesleep 0'以上是设置别名（快捷键）的方式，mac一般写到.bash_profile
[Python]Python版吴恩达《机器学习》习题——线性回归 胡话主要给自己备忘，放博客方便查看，代码梯度下降部分主要参考文末链接，正规方程法代码自己写的，虽然很简单但算是机器学习的“Hello World”，有点小激动。虽然之前也看着《机器学习实战》也写出过梯度下降，但那时候理解不深，并没有太多欣喜，现在对它理解程度进了一步，再写才感觉是真的第一次。我是懒人，所以不太愿意花太多时间在博客上，所以看官可能不会太方便，但我注释尽量写全呼了，复制粘贴看应该还好。代码梯度下降#!/usr/bin/env python# -*- coding: utf-8 -*
树莓派 + SSD启动 + CentOS 8 64位 + 内网穿透 + 自动温控风扇 + SMB服务 + 文件分类备份 功能描述上闲鱼拿下了个树莓派4B 8G，300块，我仿佛听见有人说“哇”？哦，其实它的外显输出有点问题，但我是不关心，真香。到手之后自然是传统装机，点到为止，64位centos安排起来，smb服务给装上，再整个风扇降降温。后续小功能慢慢安排，请勿期待。进入主题前说下我过的一个小弯。本来嘛我是装了NextCloud的，这里简单提一句，我在centos7 x86上是能通过自己找httpd/php/mariadb等模块自己一个个装的，但在树莓派上，因为是arm架构，又用了64位，真心不好找资源，所幸有宝塔
[NGROK] 通过ngrok内网穿透服务，实现广域网连接局域网服务器 参考链接搭建ngrok服务器实现内网穿透，实现http和tcp映射本文存在的必要性原文实现的方法很繁琐，本文是基于它的启发实现了超简单的方式达成目的；不需要公网服务器；给自己做个备忘。准备Linux服务器一台（默认已开启22端口且可远程登录）、ngrok账号一枚步骤客户端下载Ngrok官网：https://ngrok.com下载Linux，之后解压即可复制你的token，它会生成一个yml配置文件，打码的就是个人的token，直接粘贴即可使用ngrok的tcp映射到端口2
[SMB] 腾讯云搭建SMB服务实现在线漫画查看 作用作为个人使用，主要分两点：云端使用爬虫下载漫画，打包成zip再通过comic screen的安卓软件在线观看，漫画爬虫可参考这里！云端共享保存一些共享小文件，全平台通用。安装配置smb注意如果按下列方法服务未成功启用，可以检查防火墙配置，能接受的话可以把防火墙完全关闭，至于如何让防火墙单独绕开此服务，烦请自行搜索了。# 安装smb服务yum install samba -y# 新建用户useradd your_user_name# 设置用户密码passwd your_user_
[Python] IDEA通过SSH使用远程Python环境External Libraries无法拉取问题 IDEA添加Python远程环境选中自己的项目，按F4进入Project Struct，编辑SDKs，添加Python SDK -> Add Remote；进入Project中，修改Projec SDK为刚添加的Python远程环境；进入Modules中，应该已有一个默认模块，选中后右侧选择Dependencies，修改Module SDK为Project SDK，注意这块如果不统一，可能导致编辑器提示错误；选择Tools -> Deployment -> Configurtat
[Pandas]民主、卫生指数与新冠数据相关性浅究 世界各国民主、医疗指数与新冠各项数据对比数据来源2019年民主指数 数据源传送2019年全球卫生完全指数 数据源传送191国医疗系统表现 数据源传送新冠数据（2020年9月19日） 数据源传送世界国家人口 数据源传送数据预处理因为数据来源为多种格式，且作为主键的"国名"也有不一致，所以优化做的就是格式统一加主键统一，通过建立国名字典，判断各数据源国名是否在字典中，不在则修改为统一名称。代码#!/usr/bin/env python3# -*- coding: utf-8 -*-# A
计算机基础 + 大数据框架 + 机器学习笔记 聊聊除了个别笔记是网络下载外（已注明），其它都是我自己学习过程中做的笔记，有20万+字（我骄傲了吗？我真骄傲了！），仍在更新，大部分都是手打，键盘都打掉色了呢！当然，有笔记是不够的，需要项目实践 + 系统复习。复习时间按记忆曲线来指导，工具有两种：[Shell] Shell + Mac实现控制日历自动按记忆经典设置提醒优点：能够与手机（包括安卓、苹果）日历提醒同步缺点：需要一台Mac[Shell]纯Shell实现记忆曲线邮件提醒优点：不需要Mac缺点：需要服务器????遇到问题
关注
