娄夏-CSDN博客

原创 [Idea & Django]IDEA导入Django项目后配置 & 配置模板语法

IDEA导入Django项目并配置

2022-10-28 10:08:16 1653 1

原创 FlinkCDC将MySQL的Binlog数据以纯FlinkSQL落表至Hive

目的使用FlinkSQL（1.13.6）纯SQL方式，通过FlinkCDC（2.1.1）获取MySQL的Binlog数据，以流的形式同步到Hive表中。小文件问题可使用FlinkSQL批处理定期执行表合并来解决。步骤启动MySQL的Binlog功能（略）FlinkCDC获取MySQL Binlog并写入Kafka表；-- 读取MySQL源表DROP TABLE IF EXISTS mysql_cdc;CREATE TABLE mysql_cdc ( `do_date`

2022-03-01 13:12:40 5353

原创树莓派（arm64）配置JetBrains Client

JB Client简介JBC是JB实现远程开发的工具，有单独程序或集成在2021.3版本的各IDE中，本机只负责显示、渲染代码等工作，重计算的任务都交由后台服务器，更重要的是直接使用了远端服务器的环境。本文目的当前最新版本Idea是2021.3.1，直接使用JB Client下载树莓派远端IDE是无法启动的，会一直显示启动失败，故需要对其进行手动处理。本文使用树莓派4b + ubuntu示例。解决树莓派启动JB Client失败的问题单独启动测试使用JBC下载好需要的IDE，会发现启动失败。

2022-01-24 15:38:08 2682

原创树莓派无界面连接需验证的WIFI

需求描述硬件：树莓派4B一台，公司WIFI（需验证），无外接显示器。需求：连接公司WIFI并联网。实现逻辑在可联网的环境，如在家插入网线配置好SSH登录，安装nmcli，配置好目标WIFI信息，建议同时配置好手机WIFI，方便出问题时直接连接手机调试。命令工具安装# 安装nmcli工具sudo apt install network-manager# 连接wifi的命令为nmcli device wifi connect [wifi_name] password [your_pw]#

2022-01-21 18:17:30 2073

原创 JetBrains IDEA/Clion/Client + ROS 远程开发环境搭建

实现功能CLion在运行在Docker上的Ubuntu上进行ROS开发，可以通过frp实现真正的远程开发（仅猜想），本机可通过VNC连接Ubuntu使用ROS相关的GUI功能。工具JetBrains Client：2021.3之后推出的RemoteDevelopment功能；Docker + ubuntu 18.04：docker pull ubuntu:18.04 拉取即可；ROS：因为ubuntu使用的版本为18.04，故ROS版本选择melodic。Ubuntu配置过程安装docker略

2021-12-31 14:45:13 5221 3

原创 [RaspberryPi] 一键部署树莓派Zero电子相框功能！

特点原安装过程请见：https://www.yuque.com/docs/share/6c661b17-8ef8-4704-98b9-211f0a237192?# 《相框2.0》# 原安装过程当前方案的特点：树莓派无需连接广域网；树莓派组件一键部署。硬件树莓派Zero（非W，不需要WiFi和蓝牙功能），这玩意儿的性能，大家心里要有数微雪7.5寸墨水屏微雪驱动板7寸相框+卡纸microUSB数据线32g TFWindows电脑一台部署下载安装包链接：https://pa

2021-10-25 10:50:56 1054

原创 IDEA Run Target远程执行Java & Debug

准备整体为Windows下使用IDEA编写Java程序，而包需要上传到Linux服务器运行，本机没有完整运行环境（同理可用于Mac，Mac配置rsync更简单，实际上我免密都没有做就配置成功，且不知道为什么，Mac使用起来rsync的效率比Windows高非常多）。WIN10：其它windows版本可能需要安装openssh；Linux服务器：完整环境所在，用于调试Java程序；IDEA新版（当前使用2021.2）：支持run target功能，见下图。![image.png](https

2021-10-20 11:15:08 1810 7

原创一键安装Redash并连接Impala

实际是报错解决过程redash连接impala报错：expecting list of size 2 for struct args问题描述1、缺陷描述（场景、步骤、预期、实际）场景：需求描述使用redash连接impala。操作步骤：详细描述发现bug的操作步骤在redash中配置impala预期结果：详细写明预期结果连接测试成功。实际结果：详细写明实际结果连接测试报错expecting list of size 2 for struct args。2、解决方案总体思路：

2021-09-27 16:26:29 384

原创 [JAVA] 邮件发送Markdown文件自动渲染HTML

Readme作用(刚学JAVA有点菜)将Markdown文件渲染成HTML后以邮件形式发送出去，添加对文字颜色修改的功能，添加对本地内嵌图片的支持。用法java -jar EmailServer.jar Receiver Title MdFile参数None自定义功能实现文字编辑自定义颜色功能格式如下：$\c{grey}{This an KaTeX parse error: Expected 'EOF', got '}' at position 8: example}̲KaTeX p

2021-09-10 17:20:21 1175

原创 Windows设置并切换代理服务器

写在前边作用通过BAT脚本对WIN代理服务进行开关，以达到访问外网的功能；参考BAT基本是搬运的，只增加了一个小细节——是否勾选“请勿将代理服务器用于本地(Intranet)地址”；主要参考（几乎全抄）：利用Win10批处理bat文件实现自动修改ip与代理设置将要参考：dos命令行设置IE代理的实现代码代理服务器设置我是使用手机的V2RAY懂的就懂，在它的“设置”中勾选“允许来自局域网的连接”，其中HTTP默认代理端口即为10809，然后在WIFI中能看到自己的IP地址，即为图中设置；两台

2021-07-28 09:01:36 8560

原创 MAC全版本设置合盖不休眠

直接命令行# 禁止合盖休眠alias dislid='sudo pmset -b sleep 0; sudo pmset -b displaysleep 0; sudo pmset -b disablesleep 1'# 启动合盖休眠alias enlid='sudo pmset -b sleep 15; sudo pmset -b displaysleep 10; sudo pmset -b disablesleep 0'以上是设置别名（快捷键）的方式，mac一般写到.bash_profile

2021-07-23 08:44:35 3791 2

原创 [Python]Python版吴恩达《机器学习》习题——线性回归

胡话主要给自己备忘，放博客方便查看，代码梯度下降部分主要参考文末链接，正规方程法代码自己写的，虽然很简单但算是机器学习的“Hello World”，有点小激动。虽然之前也看着《机器学习实战》也写出过梯度下降，但那时候理解不深，并没有太多欣喜，现在对它理解程度进了一步，再写才感觉是真的第一次。我是懒人，所以不太愿意花太多时间在博客上，所以看官可能不会太方便，但我注释尽量写全呼了，复制粘贴看应该还好。代码梯度下降#!/usr/bin/env python# -*- coding: utf-8 -*

2021-01-12 23:25:28 294 1

原创树莓派 + SSD启动 + CentOS 8 64位 + 内网穿透 + 自动温控风扇 + SMB服务 + 文件分类备份

功能描述上闲鱼拿下了个树莓派4B 8G，300块，我仿佛听见有人说“哇”？哦，其实它的外显输出有点问题，但我是不关心，真香。到手之后自然是传统装机，点到为止，64位centos安排起来，smb服务给装上，再整个风扇降降温。后续小功能慢慢安排，请勿期待。进入主题前说下我过的一个小弯。本来嘛我是装了NextCloud的，这里简单提一句，我在centos7 x86上是能通过自己找httpd/php/mariadb等模块自己一个个装的，但在树莓派上，因为是arm架构，又用了64位，真心不好找资源，所幸有宝塔

2020-12-26 20:21:00 1457 2

原创 [NGROK] 通过ngrok内网穿透服务，实现广域网连接局域网服务器

参考链接搭建ngrok服务器实现内网穿透，实现http和tcp映射本文存在的必要性原文实现的方法很繁琐，本文是基于它的启发实现了超简单的方式达成目的；不需要公网服务器；给自己做个备忘。准备Linux服务器一台（默认已开启22端口且可远程登录）、ngrok账号一枚步骤客户端下载Ngrok官网：https://ngrok.com下载Linux，之后解压即可复制你的token，它会生成一个yml配置文件，打码的就是个人的token，直接粘贴即可使用ngrok的tcp映射到端口2

2020-11-24 13:15:58 1475 2

原创 [SMB] 腾讯云搭建SMB服务实现在线漫画查看

作用作为个人使用，主要分两点：云端使用爬虫下载漫画，打包成zip再通过comic screen的安卓软件在线观看，漫画爬虫可参考这里！云端共享保存一些共享小文件，全平台通用。安装配置smb注意如果按下列方法服务未成功启用，可以检查防火墙配置，能接受的话可以把防火墙完全关闭，至于如何让防火墙单独绕开此服务，烦请自行搜索了。# 安装smb服务yum install samba -y# 新建用户useradd your_user_name# 设置用户密码passwd your_user_

2020-10-16 09:03:24 1658

原创 [Python] IDEA通过SSH使用远程Python环境External Libraries无法拉取问题

IDEA添加Python远程环境选中自己的项目，按F4进入Project Struct，编辑SDKs，添加Python SDK -> Add Remote；进入Project中，修改Projec SDK为刚添加的Python远程环境；进入Modules中，应该已有一个默认模块，选中后右侧选择Dependencies，修改Module SDK为Project SDK，注意这块如果不统一，可能导致编辑器提示错误；选择Tools -> Deployment -> Configurtat

2020-10-13 12:13:38 689

原创 [Pandas]民主、卫生指数与新冠数据相关性浅究

世界各国民主、医疗指数与新冠各项数据对比数据来源2019年民主指数数据源传送2019年全球卫生完全指数数据源传送191国医疗系统表现数据源传送新冠数据（2020年9月19日）数据源传送世界国家人口数据源传送数据预处理因为数据来源为多种格式，且作为主键的"国名"也有不一致，所以优化做的就是格式统一加主键统一，通过建立国名字典，判断各数据源国名是否在字典中，不在则修改为统一名称。代码#!/usr/bin/env python3# -*- coding: utf-8 -*-# A

2020-09-20 13:57:58 654 2

原创计算机基础 + 大数据框架 + 机器学习笔记

聊聊除了个别笔记是网络下载外（已注明），其它都是我自己学习过程中做的笔记，有20万+字（我骄傲了吗？我真骄傲了！），仍在更新，大部分都是手打，键盘都打掉色了呢！当然，有笔记是不够的，需要项目实践 + 系统复习。复习时间按记忆曲线来指导，工具有两种：[Shell] Shell + Mac实现控制日历自动按记忆经典设置提醒优点：能够与手机（包括安卓、苹果）日历提醒同步缺点：需要一台Mac[Shell]纯Shell实现记忆曲线邮件提醒优点：不需要Mac缺点：需要服务器????遇到问题

2020-08-08 06:38:13 264

原创 [Shell]纯Shell实现记忆曲线邮件提醒

日历方案日历解决方案请戳这里~准备linux需要配置好mail服务，参考请见https://www.cnblogs.com/chenjiye/p/9151555.html。个人使用的是鹅厂的99包年，真香，想白嫖的可以使用谷歌云。不喜说话直接代码代码参数传递有点乱，还是菜。#!/usr/bin/env bash# Date: 2019-11-09# shellcheck disable=SC2068function judgeEnv(){# 判断是否安装at，没装装上 at >

2020-08-08 06:30:03 278

原创非越狱iPad实现外接键盘全APP五笔输入（IOS14已自带五笔）

使用场景XMind笔记、微信聊天等文字输入场景问题描述众所周知iPad外接键盘不支持第三方输入法，而IOS本身又双叒叕没有五笔输入法，对于习惯五笔的用户来说是非常地不友好。解决思路使用第三方软件清歌写字板优点：完整五笔支持，四码上屏缺点：单设备只能在该软件内剖进行输入，即使使用中继功能，也常常会发生中断，体验较差使用原生文本替换实现拼音输入法五笔编码优点：全场景使用缺点：无法四码上屏，又因为苹果文本替换最多仅支持9999个字符，故无法将所有常用词编码都导入系统具体方法

2020-06-16 22:10:08 4923

原创 [Python + MySQL]多线程股票数据爬虫

股票数据爬取目的拿到历史数据，结合经典的数据算法，来看看能不能找到一些数学规律。准备需要连接MySQL数据库，我用的是安卓机上的Termux，这样方便以后把代码放到手机上跑，还能结合itchat与微信交互（暂未开写）。直接上代码就是把所有数据下下来#!/usr/bin/env python# -*- coding: utf-8 -*-# Author: CK# Date: 20...

2020-03-13 22:15:38 677 3

原创 [Scala] Spark常用算子较详细说明及示例

Spark常用算子较详细说明及示例直接上码package com.ck.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark._object SparkOperations { def main(args: Array[String]) { val config: SparkConf = new S...

2020-02-21 11:13:40 255

原创 [Python BeautifulSoup Threading] 多线程漫画爬虫

漫画爬虫简介爬取公开漫画资源，下载完成后打包成Zip发送至手机指定文件夹。涉及组件第三方包依赖selenium（对应的webdriver需要自行安装）tqdm手机端termux（通过ssh与电脑通信）comicscreen（本地漫画阅读软件）脚本缺点没有写搜索功能，多个来源没有整合非异步爬虫，效率不高，写来玩儿的，能满足我的需求爬虫没有使用xpath、css选择...

2020-02-18 10:23:04 3794

原创 [Shell] Shell + Mac实现日历按记忆曲线设置提醒

提醒还可经由谷歌日历或其它可与手机同步日历服务配合，让手机发出日历提醒另外需要配合使用的ics文件放在文末#!/bin/bash# 系统回车function addics(){ if [ $pin -eq 1 ]; then osascript 1> /dev/null <<EOFtell application "Calendar" activate de...

2020-01-10 16:24:35 421

原创 [Python] 基于itchat实现回复微信完成确认、统计、查询功能

功能朋友工作中的需求，向特定群体发送信息，需要多人反馈是否收到脚本实现设定好确认所用的关键字，回复后能过查询字段能够获取哪些人已收到，哪些人未确认程序代码功能实现依赖于itchat，很简单，注释应该写得挺全的；小脚本所以都丢一个文件里了#!/usr/bin/env python3# -*- coding: utf-8 -*-# Author: CK# CreateTime: 2...

2020-01-10 13:58:56 412

原创 [Scala + Python] Flink实时分析B站公开数据

读我项目介绍啰嗦本项目基于Bilibili的分开信息，实现需求的主要模块为Flink + eCharts，点击直达官网。项目代码主要是Scala + Python实现，建议学习大数据的最好掌握Java或Scala，资料丰富些。GitHub地址项目架构一图胜千言静态图表来看看效果，先上个静态的，这个简单需求完全可以不用框架实现，但我还是用了Flink，也好让初学这个框架的盆友适应...

2020-01-08 23:26:17 964

原创 CSDN自定义Markdown

目录CSDN固有问题解决方案看看成色享用方法CSDN固有问题语言支持不全（如Scala，无法忍受）自带主题只有寥寥几个，可以通过这里查阅这这这解决方案MarkDown Here + CSDN富文本编辑器小缺点：因为使用富文本，那么今后也只能一直是富文本编辑，在提交之后内容格式无法转回纯文本状态，也就是只通过网站是无法两次使用Markdown编辑它的（当然小...

2020-01-03 11:21:49 154