自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

CodeZenPlayground

归时休放烛花红,待踏马蹄清夜月。

  • 博客(42)
  • 收藏
  • 关注

原创 [Idea & Django]IDEA导入Django项目后配置 & 配置模板语法

IDEA导入Django项目并配置

2022-10-28 10:08:16 427

原创 FlinkCDC将MySQL的Binlog数据以纯FlinkSQL落表至Hive

目的使用FlinkSQL(1.13.6)纯SQL方式,通过FlinkCDC(2.1.1)获取MySQL的Binlog数据,以流的形式同步到Hive表中。小文件问题可使用FlinkSQL批处理定期执行表合并来解决。步骤启动MySQL的Binlog功能(略)FlinkCDC获取MySQL Binlog并写入Kafka表;-- 读取MySQL源表DROP TABLE IF EXISTS mysql_cdc;CREATE TABLE mysql_cdc ( `do_date`

2022-03-01 13:12:40 3523

原创 树莓派(arm64)配置JetBrains Client

JB Client简介JBC是JB实现远程开发的工具,有单独程序或集成在2021.3版本的各IDE中,本机只负责显示、渲染代码等工作,重计算的任务都交由后台服务器,更重要的是直接使用了远端服务器的环境。本文目的当前最新版本Idea是2021.3.1,直接使用JB Client下载树莓派远端IDE是无法启动的,会一直显示启动失败,故需要对其进行手动处理。本文使用树莓派4b + ubuntu示例。解决树莓派启动JB Client失败的问题单独启动测试使用JBC下载好需要的IDE,会发现启动失败。

2022-01-24 15:38:08 1812

原创 树莓派无界面连接需验证的WIFI

需求描述硬件:树莓派4B一台,公司WIFI(需验证),无外接显示器。需求:连接公司WIFI并联网。实现逻辑在可联网的环境,如在家插入网线配置好SSH登录,安装nmcli,配置好目标WIFI信息,建议同时配置好手机WIFI,方便出问题时直接连接手机调试。命令工具安装# 安装nmcli工具sudo apt install network-manager# 连接wifi的命令为nmcli device wifi connect [wifi_name] password [your_pw]#

2022-01-21 18:17:30 1351

原创 JetBrains IDEA/Clion/Client + ROS 远程开发环境搭建

实现功能CLion在运行在Docker上的Ubuntu上进行ROS开发,可以通过frp实现真正的远程开发(仅猜想),本机可通过VNC连接Ubuntu使用ROS相关的GUI功能。工具JetBrains Client:2021.3之后推出的RemoteDevelopment功能;Docker + ubuntu 18.04:docker pull ubuntu:18.04 拉取即可;ROS:因为ubuntu使用的版本为18.04,故ROS版本选择melodic。Ubuntu配置过程安装docker略

2021-12-31 14:45:13 2464

原创 [RaspberryPi] 一键部署树莓派Zero电子相框功能!

特点原安装过程请见:https://www.yuque.com/docs/share/6c661b17-8ef8-4704-98b9-211f0a237192?# 《相框2.0》# 原安装过程当前方案的特点:树莓派无需连接广域网;树莓派组件一键部署。硬件树莓派Zero(非W,不需要WiFi和蓝牙功能),这玩意儿的性能,大家心里要有数微雪7.5寸墨水屏微雪驱动板7寸相框+卡纸microUSB数据线32g TFWindows电脑一台部署下载安装包链接:https://pa

2021-10-25 10:50:56 449

原创 IDEA Run Target远程执行Java & Debug

准备整体为Windows下使用IDEA编写Java程序,而包需要上传到Linux服务器运行,本机没有完整运行环境(同理可用于Mac,Mac配置rsync更简单,实际上我免密都没有做就配置成功,且不知道为什么,Mac使用起来rsync的效率比Windows高非常多)。​WIN10:其它windows版本可能需要安装openssh;Linux服务器:完整环境所在,用于调试Java程序;IDEA新版(当前使用2021.2):支持run target功能,见下图。![image.png](https

2021-10-20 11:15:08 733 5

原创 一键安装Redash并连接Impala

实际是报错解决过程redash连接impala报错:expecting list of size 2 for struct args问题描述1、 缺陷描述(场景、步骤、预期、实际)场景:需求描述使用redash连接impala。操作步骤:详细描述发现bug的操作步骤在redash中配置impala预期结果:详细写明预期结果连接测试成功。实际结果:详细写明实际结果连接测试报错expecting list of size 2 for struct args。2、 解决方案总体思路:

2021-09-27 16:26:29 218

原创 [JAVA] 邮件发送Markdown文件自动渲染HTML

Readme作用(刚学JAVA有点菜)将Markdown文件渲染成HTML后以邮件形式发送出去,添加对文字颜色修改的功能,添加对本地内嵌图片的支持。用法java -jar EmailServer.jar Receiver Title MdFile参数None自定义功能实现文字编辑自定义颜色功能格式如下:$\c{grey}{This an KaTeX parse error: Expected 'EOF', got '}' at position 8: example}̲KaTeX p

2021-09-10 17:20:21 461

原创 Windows设置并切换代理服务器

写在前边作用通过BAT脚本对WIN代理服务进行开关,以达到访问外网的功能;参考BAT基本是搬运的,只增加了一个小细节——是否勾选“请勿将代理服务器用于本地(Intranet)地址”;主要参考(几乎全抄):利用Win10批处理bat文件实现自动修改ip与代理设置将要参考:dos命令行设置IE代理的实现代码代理服务器设置我是使用手机的V2RAY懂的就懂,在它的“设置”中勾选“允许来自局域网的连接”,其中HTTP默认代理端口即为10809,然后在WIFI中能看到自己的IP地址,即为图中设置;两台

2021-07-28 09:01:36 4217

原创 MAC全版本设置合盖不休眠

直接命令行# 禁止合盖休眠alias dislid='sudo pmset -b sleep 0; sudo pmset -b displaysleep 0; sudo pmset -b disablesleep 1'# 启动合盖休眠alias enlid='sudo pmset -b sleep 15; sudo pmset -b displaysleep 10; sudo pmset -b disablesleep 0'以上是设置别名(快捷键)的方式,mac一般写到.bash_profile

2021-07-23 08:44:35 2340 2

原创 [Python]Python版吴恩达《机器学习》习题——线性回归

胡话主要给自己备忘,放博客方便查看,代码梯度下降部分主要参考文末链接,正规方程法代码自己写的,虽然很简单但算是机器学习的“Hello World”,有点小激动。虽然之前也看着《机器学习实战》也写出过梯度下降,但那时候理解不深,并没有太多欣喜,现在对它理解程度进了一步,再写才感觉是真的第一次。我是懒人,所以不太愿意花太多时间在博客上,所以看官可能不会太方便,但我注释尽量写全呼了,复制粘贴看应该还好。代码梯度下降#!/usr/bin/env python# -*- coding: utf-8 -*

2021-01-12 23:25:28 172 1

原创 树莓派 + SSD启动 + CentOS 8 64位 + 内网穿透 + 自动温控风扇 + SMB服务 + 文件分类备份

功能描述上闲鱼拿下了个树莓派4B 8G,300块,我仿佛听见有人说“哇”?哦,其实它的外显输出有点问题,但我是不关心,真香。到手之后自然是传统装机,点到为止,64位centos安排起来,smb服务给装上,再整个风扇降降温。后续小功能慢慢安排,请勿期待。进入主题前说下我过的一个小弯。本来嘛我是装了NextCloud的,这里简单提一句,我在centos7 x86上是能通过自己找httpd/php/mariadb等模块自己一个个装的,但在树莓派上,因为是arm架构,又用了64位,真心不好找资源,所幸有宝塔

2020-12-26 20:21:00 992 2

原创 [NGROK] 通过ngrok内网穿透服务,实现广域网连接局域网服务器

参考链接搭建ngrok服务器实现内网穿透,实现http和tcp映射本文存在的必要性原文实现的方法很繁琐,本文是基于它的启发实现了超简单的方式达成目的;不需要公网服务器;给自己做个备忘。准备Linux服务器一台(默认已开启22端口且可远程登录)、ngrok账号一枚步骤客户端下载Ngrok官网:https://ngrok.com下载Linux,之后解压即可复制你的token,它会生成一个yml配置文件,打码的就是个人的token,直接粘贴即可使用ngrok的tcp映射到端口2

2020-11-24 13:15:58 1254 2

原创 [SMB] 腾讯云搭建SMB服务实现在线漫画查看

作用作为个人使用,主要分两点:云端使用爬虫下载漫画,打包成zip再通过comic screen的安卓软件在线观看,漫画爬虫可参考这里!云端共享保存一些共享小文件,全平台通用。安装配置smb注意如果按下列方法服务未成功启用,可以检查防火墙配置,能接受的话可以把防火墙完全关闭,至于如何让防火墙单独绕开此服务,烦请自行搜索了。# 安装smb服务yum install samba -y# 新建用户useradd your_user_name# 设置用户密码passwd your_user_

2020-10-16 09:03:24 923

原创 [Python] IDEA通过SSH使用远程Python环境External Libraries无法拉取问题

IDEA添加Python远程环境选中自己的项目,按F4进入Project Struct,编辑SDKs,添加Python SDK -> Add Remote;进入Project中,修改Projec SDK为刚添加的Python远程环境;进入Modules中,应该已有一个默认模块,选中后右侧选择Dependencies,修改Module SDK为Project SDK,注意这块如果不统一,可能导致编辑器提示错误;选择Tools -> Deployment -> Configurtat

2020-10-13 12:13:38 369

原创 [Pandas]民主、卫生指数与新冠数据相关性浅究

世界各国民主、医疗指数与新冠各项数据对比数据来源2019年民主指数 数据源传送2019年全球卫生完全指数 数据源传送191国医疗系统表现 数据源传送新冠数据(2020年9月19日) 数据源传送世界国家人口 数据源传送数据预处理因为数据来源为多种格式,且作为主键的"国名"也有不一致,所以优化做的就是格式统一加主键统一,通过建立国名字典,判断各数据源国名是否在字典中,不在则修改为统一名称。代码#!/usr/bin/env python3# -*- coding: utf-8 -*-# A

2020-09-20 13:57:58 554 2

原创 计算机基础 + 大数据框架 + 机器学习笔记

聊聊除了个别笔记是网络下载外(已注明),其它都是我自己学习过程中做的笔记,有20万+字(我骄傲了吗?我真骄傲了!),仍在更新,大部分都是手打,键盘都打掉色了呢!当然,有笔记是不够的,需要项目实践 + 系统复习。复习时间按记忆曲线来指导,工具有两种:[Shell] Shell + Mac实现控制日历自动按记忆经典设置提醒优点:能够与手机(包括安卓、苹果)日历提醒同步缺点:需要一台Mac[Shell]纯Shell实现记忆曲线邮件提醒优点:不需要Mac缺点:需要服务器????遇到问题

2020-08-08 06:38:13 180

原创 [Shell]纯Shell实现记忆曲线邮件提醒

日历方案日历解决方案请戳这里~准备linux需要配置好mail服务,参考请见https://www.cnblogs.com/chenjiye/p/9151555.html。个人使用的是鹅厂的99包年,真香,想白嫖的可以使用谷歌云。不喜说话直接代码代码参数传递有点乱,还是菜。#!/usr/bin/env bash# Date: 2019-11-09# shellcheck disable=SC2068function judgeEnv(){# 判断是否安装at,没装装上 at >

2020-08-08 06:30:03 191

原创 非越狱iPad实现外接键盘全APP五笔输入(IOS14已自带五笔)

使用场景XMind笔记、微信聊天等文字输入场景问题描述众所周知iPad外接键盘不支持第三方输入法,而IOS本身又双叒叕没有五笔输入法,对于习惯五笔的用户来说是非常地不友好。解决思路使用第三方软件清歌写字板优点:完整五笔支持,四码上屏缺点:单设备只能在该软件内剖进行输入,即使使用中继功能,也常常会发生中断,体验较差使用原生文本替换实现拼音输入法五笔编码优点:全场景使用缺点:无法四码上屏,又因为苹果文本替换最多仅支持9999个字符,故无法将所有常用词编码都导入系统具体方法

2020-06-16 22:10:08 4207

原创 [Python + MySQL]多线程股票数据爬虫

股票数据爬取目的拿到历史数据,结合经典的数据算法,来看看能不能找到一些数学规律。准备需要连接MySQL数据库,我用的是安卓机上的Termux,这样方便以后把代码放到手机上跑,还能结合itchat与微信交互(暂未开写)。直接上代码就是把所有数据下下来#!/usr/bin/env python# -*- coding: utf-8 -*-# Author: CK# Date: 20...

2020-03-13 22:15:38 449 2

原创 [Scala] Spark常用算子较详细说明及示例

Spark常用算子较详细说明及示例直接上码package com.ck.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark._object SparkOperations { def main(args: Array[String]) { val config: SparkConf = new S...

2020-02-21 11:13:40 129

原创 [Python BeautifulSoup Threading] 多线程漫画爬虫

漫画爬虫简介爬取公开漫画资源,下载完成后打包成Zip发送至手机指定文件夹。涉及组件第三方包依赖selenium(对应的webdriver需要自行安装)tqdm手机端termux(通过ssh与电脑通信)comicscreen(本地漫画阅读软件)脚本缺点没有写搜索功能,多个来源没有整合非异步爬虫,效率不高,写来玩儿的,能满足我的需求爬虫没有使用xpath、css选择...

2020-02-18 10:23:04 2789

原创 [Shell] Shell + Mac实现日历按记忆曲线设置提醒

提醒还可经由谷歌日历或其它可与手机同步日历服务配合,让手机发出日历提醒另外需要配合使用的ics文件放在文末#!/bin/bash# 系统回车function addics(){ if [ $pin -eq 1 ]; then osascript 1> /dev/null <<EOFtell application "Calendar" activate de...

2020-01-10 16:24:35 277

原创 [Python] 基于itchat实现回复微信完成确认、统计、查询功能

功能朋友工作中的需求,向特定群体发送信息,需要多人反馈是否收到脚本实现设定好确认所用的关键字,回复后能过查询字段能够获取哪些人已收到,哪些人未确认程序代码功能实现依赖于itchat,很简单,注释应该写得挺全的;小脚本所以都丢一个文件里了#!/usr/bin/env python3# -*- coding: utf-8 -*-# Author: CK# CreateTime: 2...

2020-01-10 13:58:56 309

原创 [Scala + Python] Flink实时分析B站公开数据

读我项目介绍啰嗦本项目基于Bilibili的分开信息,实现需求的主要模块为Flink + eCharts,点击直达官网。项目代码主要是Scala + Python实现,建议学习大数据的最好掌握Java或Scala,资料丰富些。GitHub地址项目架构一图胜千言静态图表来看看效果,先上个静态的,这个简单需求完全可以不用框架实现,但我还是用了Flink,也好让初学这个框架的盆友适应...

2020-01-08 23:26:17 759

原创 CSDN自定义Markdown

目录CSDN固有问题解决方案看看成色享用方法CSDN固有问题语言支持不全(如Scala,无法忍受) 自带主题只有寥寥几个,可以通过这里查阅这这这解决方案MarkDown Here + CSDN富文本编辑器小缺点:因为使用富文本,那么今后也只能一直是富文本编辑,在提交之后内容格式无法转回纯文本状态,也就是只通过网站是无法两次使用Markdown编辑它的(当然小...

2020-01-03 11:21:49 97

原创 [Scala] Flink项目小彩蛋(六)

传送区[Scala] Flink项目实例系列(零)[Scala] Flink项目实时热门商品统计(一)[Scala] Flink项目实时流量统计(二)[Scala] Flink项目恶意登录监控(三)[Scala] Flink项目订单支付失效监控(四)[Scala] Flink项目订单支付实时对账(五)[Scala] Flink项目小彩蛋(六)本项目的代码及文件见这这这,友情码是:3n9z。...

2020-01-03 01:03:51 326 1

原创 [Scala] Flink项目订单支付实时对账(五)

传送区[Scala] Flink项目实例系列(零)[Scala] Flink项目实时热门商品统计(一)[Scala] Flink项目实时流量统计(二)[Scala] Flink项目恶意登录监控(三)[Scala] Flink项目订单支付失效监控(四)[Scala] Flink项目订单支付实时对账(五)[Scala] Flink项目小彩蛋(六)本项目的代码及文件见这这这,友情码是:3n9z。...

2020-01-03 01:03:07 803

原创 [Scala] Flink项目订单支付失效监控(四)

传送区[Scala] Flink项目实例系列(零)[Scala] Flink项目实时热门商品统计(一)[Scala] Flink项目实时流量统计(二)[Scala] Flink项目恶意登录监控(三)[Scala] Flink项目订单支付失效监控(四)[Scala] Flink项目订单支付实时对账(五)[Scala] Flink项目小彩蛋(六)本项目的代码及文件见这这这,友情码是:3n9z。...

2020-01-03 01:02:34 475

原创 [Scala] Flink项目恶意登录监控(三)

传送区[Scala] Flink项目实例系列(零)[Scala] Flink项目实时热门商品统计(一)[Scala] Flink项目实时流量统计(二)[Scala] Flink项目恶意登录监控(三)[Scala] Flink项目订单支付失效监控(四)[Scala] Flink项目订单支付实时对账(五)[Scala] Flink项目小彩蛋(六)本项目的代码及文件见这这这,友情码是:3n9z。...

2020-01-03 01:01:26 550

原创 [Scala] Flink项目实时流量统计(二)

传送区[Scala] Flink项目实例系列(零)[Scala] Flink项目实时热门商品统计(一)[Scala] Flink项目实时流量统计(二)[Scala] Flink项目恶意登录监控(三)[Scala] Flink项目订单支付失效监控(四)[Scala] Flink项目订单支付实时对账(五)[Scala] Flink项目小彩蛋(六)本项目的代码及文件见这这这,友情码是:3n9z。...

2020-01-03 00:58:07 1509 1

原创 [Scala] Flink项目实时热门商品统计(一)

传送区[Scala] Flink项目实例系列(零)[Scala] Flink项目实时热门商品统计(一)[Scala] Flink项目实时流量统计(二)[Scala] Flink项目恶意登录监控(三)[Scala] Flink项目订单支付失效监控(四)[Scala] Flink项目订单支付实时对账(五)[Scala] Flink项目小彩蛋(六)本项目的代码及文件见这这这,友情码是:3n9z。...

2020-01-03 00:48:23 1638 3

原创 [Scala] Flink项目实例系列(零)

前言项目基于尚硅谷的Flink教学视频,记录下来一是方便以后自己查看,二是丰富点互联网生活。学习嘛都是先模仿再创造,写完这份博客我就走完了前小部分路吧。因为很感谢尚硅谷的开源教程,另百度云脾气不好数据量又大,综上几条我决定直接放官方链接——戳我一大批开源教程就都是你的了。本项目的代码及文件见这这这,友情码是:3n9z。再说一条我的体会,我是学Python入的坑,而大数据框架很多还是用...

2020-01-03 00:47:44 1226

原创 [Scala] Flink 侧输出流&CheckPoint的使用

**Flink入门Demo:**侧输出流的使用,官方已经建议使用SideOutput取代split算子了更多的细节请看代码注释学习资料都来源于尚硅谷,开源免费,很感谢他们戳我直达数据源格式为sensor_1, 1547718199, 35.80018327300259sensor_1, 1547718210, 28.39839108328901sensor_6, 1547718203,...

2019-12-30 21:08:54 417

原创 [Scala] Flink Window操作及底层KeyedProcessFunction实例

**Flink入门Demo:**涉及Flink的窗口操作及一个底层API KeyedProcessFunction的示例,主要还是给以后自己写码当个参考,所以把很多东西摞一起了,看官请将就更多的细节请看代码注释学习资料都来源于尚硅谷,开源免费,很感谢他们戳我直达老生常谈,CSDN不支持Scala,看官请将就import com.ck.readFrom.SensorReadingimpor...

2019-12-30 20:43:09 650

原创 [Scala] Flink Transform算子 & Sink

**Flink入门Demo:**涉及到的Transform算子有map、flatMap、filter、keyBy、reduce、split、select、connect、union,Sink方法有kafka sink与JDBC sink,其中JDBC sink需要自定义更多的细节请看代码注释另外学习资料都来源于尚硅谷,开源免费,很感谢他们戳我直达老生常谈,CSDN不支持Scala,看官请将就...

2019-12-30 16:45:11 205

原创 [Scala] Flink Source Demo

Flink入门之Source,包括集合读取、文本读取、元素读取、Kafka读取、自定义Source老生常谈,CSDN不支持Scala,看官请将就import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.stream...

2019-12-30 12:07:21 198

原创 Scala学习过程的一些代码

计算2的1024次方object Test { def main(args: Array[String]): Unit = { print(BigInt(2).pow(1024)) }}输出36进制数import scala.util.Randomobject Test { def main(args: Array[String]): Unit = { v...

2019-12-29 22:56:49 144

原创 Pycharm(IDEA)SSH远程CentOS服务器运行Pyspark程序

目的描述如题系统版本:CentOS 6.8Python:3.5.9Hadoop:2.7.2Spark:2.1.1Pycharm或IDEA SSH远程Linux方法如下:戳我至于集群搭建那是另一个故事了,此处不表#!/usr/bin/env python3# -*- coding: utf-8 -*-# Author: CK# CreateTime: 2019/12/14 10:...

2019-12-14 10:47:28 236

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除