Kthemis的技术输出

原创 python虚拟环境的使用技巧

在使用python第三方库的过程中，由于python版本不同且很多项目往往会使用到不同版本的第三方库，因此在本地使用“all in”的包管理方案时间久了将是一个巨大的灾难。然而python的虚拟机环境为这一问题提供了很好的解决方案，本文将整理python虚拟环境的常用方法，同时对于虚拟机环境，如何处理项目代码位置变化导致包生效的问题。一、venv安装python3在windows和mac环境中，已经默认自带了venv，Ubuntu需要自行安装，运行的命令如下：$ sudo apt-get instal

原创 关于python+selenium+requests在服务器端开发多线程并发程序踩过的一些坑

最近因为一个需求，着手开发一款使用selenium+requests进行多线程的测试工具，当然还是基于相对熟悉的python来开发。由于很久没写了，就有很多道理我都懂，一试就出错的问题，前前后后折腾了几天总算是开发完了，这里就把期间遇到的问题做一个记录，希望可以帮助到有同样困惑的同学。一、服务器端环境配置1. Ubuntu 20.04配置安装python 3.10并修复pip这个其实内容不是很难，但无奈网上教程抄来抄去，没有一个真正讲清楚的，在参考了几个教程以及实际测试后，整理操作如下：目前ubun

原创 解决树莓派因非正常关机导致系统出现文件系统只读Read-only file system 的快速解决方法

废话不多说直接上解决方法：使用fsck手动修复，具体操作如下：切换到root用户，运行fsck.ext4 -y /dev/你的分区#查询挂载点分区文件系统格式df -T-h

原创 使用python进行http请求自动登录处理302跳转的问题

一、问题背景最近在做一个自动化业务处理的程序时，需要完成对系统的自动登录。经过抓包测试只需要使用简单的post请求后收到的回包中包含cookie信息，因此可以据此完成登录。程序设计思路为发送求到登录验证页面，获取返回包包头中的cookie然后以此cookie再完成其他请求。然而在开发测试的时候却始终获取不到返回包包头中的cookie信息。header中始终为空。二、问题原因查阅requests库的手册后发现，导致这个问题的原因主要是requests包在处理请求时，当遇到302状态时，会自动跳转到lo

原创 使用ArchLinux部署离线python三方库环境

一、前言python最优秀的特点之一就是有非常庞大的第三方库以支持各类开发任务，然而在实际使用过程中，往往会遇到不同环境不同版本、pypi官方下载慢（当然可以选择切换国内源）、内网环境依赖包多下载安装繁琐，重装开发环境重新部署等诸多问题。为了找到一个最大兼容的python库管理方案，曾经设想过最简单的方案就是将pypi官方库完整的进行同步，事实上也有专门的工具可以这样做，定期从pypi官方同步三方库，但是实际上以清华园pypi中的所有库大小来看，完整同步pypi的库是没有意义也不划算的，因此设计完成了一套

原创 《Go语言圣经》练习题

4.3：重写reverse函数，使用数组指针代替slice//slice版package mainimport ( "fmt" "reflect")func main() { string := []int{1,2,3,4,5,6,7} fmt.Println(reflect.TypeOf(string))//检查变量类型 reverse(string) fmt.Println(string)}func reverse(s []int) { for i, j := 0,

原创 Arch Linux 安装和配置(陆续更新)

Airch Linux 安装和配置(陆续更新)南国一年一度的回南天到来，周末百无聊赖，研究一下Arch Linux，整理此文，其他使用笔记陆续补充。一、在Vmware中安装Arch Linux1. 下载ISO镜像在官网下载ISO镜像，地址：https://archlinux.org/download/2. 安装部署镜像创建新的虚拟机，根据官网信息Included Kernel: 5.11.2,在客户机操作系统选项中选择：其他 Linux 5.x 及更高版本内核64位。此时默认的引导

原创 使用excel生成随机手机号

水一篇，关于如何使用excel生成随机手机号。A1 = CHOOSE(RANDBETWEEN(1,5),131,135,137,139,151)B1 = RANDBETWEEN(10000000,99999999)C1 = A1&B1

原创 LibreSpeed——一款可以用于内网测的工具

LibreSpeed是一款快速部署，可以用于测试网速的工具，特别是在局域网环境中，用来测试网络设备带宽是否达标非常好用。代码主要由一组html、js和php构成。下面以Ubuntu下安装为例：一、安装安装配置Ubuntu20.04虚拟机。安装Apache和phpsudo apt install apache2 php从github下载项目sudo git clone https://github.com/librespeed/speedtest.git配置LibreSpeed

原创 如何试用Certbot申请Let‘s encrypt证书

一、安装Certbot系统环境：Linux 5.7.6-1kali2 (2020-07-01)$ sudo apt update$ sudo apt install certbot二、获取证书$ sudo certbot --manual --preferred-challenges dns certonly -d youdomain.example.com# 然后把生成的_acme-challenge的值在域名管理中创建一个txt解析记录，后输入回车继续# 生成的证书在[/etc/le

原创 Ubuntu20.04配置MySQL8.0

最近Ubuntu20.04上线，对我来说最大的吸引之处在于自带python终于更新3.8版本了。于是计划做一个标准的django服务器环境，由于Ubuntu20中默认MySQL已经换成了8.0，默认的加密认证方式发生了一些改变，所以在安装配置特别是远程访问的设置方面还是踩了点坑。专门记录一下，也为帮助有需要的朋友。废话不多说，下面是具体的操作。一、安装MySQL$ sudo apt-get update #更新源$ sudo apt-get install mysql-server #安装mysq.

原创 一个“劳动光荣”的日子

“五一”劳动节，一个关于劳动光荣的日子。什么样人算是“光荣”的呢？我觉是一年三百六十五天执着地默默坚守的人。虽然很多时候我们经历的评价体系并非总是如此评判，但依旧感谢那些为人类、为社会、为家庭、为自己努力的人，或许你们永远默默无闻，你们却永远是英雄！致敬每一个平凡的劳动者！！！图片来源自网络...

原创 SocksOverRDP——一款通过复用RDP协议的Socks工具

今天看到圈友推荐一款叫SocksOverRDP的工具，看了一下repo上面的文档描述，大意就是这个工具可以通过RDP协议建立一个Socks5通道，当RDP连接成功时，就在本地RDP Client建立一个Socks5的服务，然后通过RDP Server访问内网，借用作者另一个项目中图片其工作原理大致如下：这个工具在一些极端苛刻的条件下还是有一些用的，玩法还有待开发。不过对于一些只开启RDP看起来...

原创 在openwrt中创建自动计划任务定时发送公网IP

1. 安装ssmtp邮件服务opkg updateopkg install ssmtp2. 配置ssmtp发送邮件这里需要注意的是邮箱账号需要开启客户端授权编辑/etc/ssmtp/ssmtp.confvim /etc/ssmtp/ssmtp.conf配置参考如下root=xxx@163.com #替换成自己的邮箱帐户mailhub=smtp.163.com #邮箱...

原创 一个林丹，一个李宗伟

原创 树莓派3b+Ubuntu18.04+gogs搭建git服务

硬件环境

原创 openwrt中openconnect的配置

一、背景最近家里新购置了索尼的x700的蓝光机，美亚折扣后几乎半价于国行，真的很香。这款机器内置了网飞，但需要专门的网络线路，这里不多说，于是需要给家里的软路由做一下配置，于是开始了折腾之旅。下面直接写过程，希望可以帮助大家可以少踩坑，图片略过，如果操作过的自然知道怎么做。通过这次折腾我也是深深理解了rt_table在做路由控制方面真的很方便。二、安装配置openconnectopenwr...

原创 Ubuntu18.04双网卡环境下安装L2TP

一、场景最近遇到一个需要通过IPSec/L2TP来实现本地双网卡的网络转发的测试需求。具体内容就是，在一台Ubuntu18.04的机器上配置了双网卡ens33和ens34，需要通过ens33拨入，然后通过ens34将数据转发出去，使用psk的l2tp协议。二、遇到问题安装过程比较简单，很快完成了安装以及iptables和路由表的配置，功能正常，但是始终出现一个奇怪的问题就是，l2tp的连接会...

原创 使用ubuntu18.04配置ocserv服务

一、准备工作更新操作系统apt-get updateapt-get upgrade二、安装ocservapt-get install ocserv三、配置证书安装证书工具apt-get install gnutls-bin创建CA证书cd ~mkdir certificatescd certificatesvim ca.tmplcerttool...

原创 一个linux下监控进程自动重启的脚本

#!/bin/bashwhile [ 1 ]do process_is_exstit=$(ps -ef | grep "yourProcess" | grep -v grep | wc -l) if [ ${process_is_exstit} == 0 ] then echo '程序重启中' sleep 300 #enter your exec...

原创 使用Github Desktop+码云打造git开发环境

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

原创 ThinkPHP使用PHPExcel导出excel的操作

一、

原创 网站开发常用资源（长期更新）

一、前端UI1.Dashboard模板FineUI（PHP版——f.js）：基于 jQuery 的专业 WebUI 控件库 - 极速，多彩，稳定可信赖，JAVA .NET PHP 都能用！。http://fineui.com/js/JUI富客户端框架：http://jui.org/H-UI：http://www.h-ui.net/2.UI库Amaze UI：中国首个...

原创 使用ELK搭建查询工具

安装JAVA8下载elasticsearch到电脑修改配置使可远程访问创建索引安装分词插件 ./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.3.0/elasticsearch-analysis-pinyin-6.3.0.z...

原创 bash命令行文本处理技巧

一、sed删除不包含指定字符串的行sed '/^((?!xxx).)*$/d' file//删除文本中不包含xxx的行二、awk

原创 常用正则表达式

匹配不包含某个字符串的行^((?!hello).)*$ //如果包含hello字符串会被匹配处理

转载 Ubuntu elasticsearch max virtual memory areas vm.max_map_count [65530] is too low, increase to at le

具体错误信息如下：jiankunking@ubuntu:~/software/elasticsearch$ ./bin/elasticsearch[2017-03-23T18:14:05,880][INFO ][o.e.n.Node ] [] initializing ...[2017-03-23T18:14:06,151][INFO ][o.e.e.Nod...

原创 Ubuntu 18.04桌面版安装及配置（长期更新）

经过下载、安装一系列等待之后，全新的ubuntu终于安装好了，但是默认的安装配置总是有使用不方便的地方，因此还需要重新配置以及安装一些常用的程序，本文长期更新，记录本人平时在使用过程中遇到的一些好用的配置和程序。一、开启root登录使用:sudo passwd root设置root的密码进入到/usr/share/lightdm/lightdm.conf.d/目录，使用vim 50-unity-greeter.conf对该文件进行编辑，在后面添加greeter-show-manual-login

原创 关于倒排索引的理解

背景最近手中有一笔非常巨大的文本资料，用普通检索来使用十分麻烦，反复查询研究后决定使用Elasticsearch来对这些文本资料创建全文索引，从而可以快速查询使用这批数据。在学习Elasticsearch的过程中遇到一个倒排索引的问题，于是算法盲的我又陷入了沉思，虽然对于使用工具没有任何影响，但是我还是打算把它弄明白。解决首先上百度百科的解释： 倒排...

原创 一次人物关系分析的数据整理经过

背景上学的时候没有数学没有学图论，程序开发没有学算法，真不好意思说自己是学计算机的，不过我猜你也一样，哈哈。有必要还是应该好好学学数学和算法，好吧又一个Flag已立。 吹水结束，进入正题，最近在做一个数据分析的研究过程中，遇到一个大约有3万个节点和11万条变的关系网，而我手中的数据简化一下大概是如下的格式： 节点1 节点2 a b a d b...

原创 Python报错：RecursionError: maximum recursion depth exceeded in comparison

错误今天在用python写一个递归查询数据库的程序时，报了一个错误： RecursionError: maximum recursion depth exceeded in comparison 错误的大致意思就是递归超过了最大的深度。原因查询过相关文档和资料后才发现了问题原因，python的递归深度是有限制的，默认为1000。当递归深度超过1000时，就会报错。解...