- 博客(33)
- 收藏
- 关注
RSS订阅原创 mysql将字符串varchar类型转换为float类型的语法
和浮点数（Double和Float，近似值）不同，它是一种精确值，用于存储精确的数字数据值，例如货币数据。数据类型为decimal的字段，可以存储的最大值/范围是多少？例如：decimal(5,2)，则该字段可以存储。）的字段，这时候就需要用到数据类型decimal。，其中， M 的范围是1~65， D 的范围是0~30， 而且D不能大于M。在存储同样范围的值时，通常比decimal使用更少的空间，float使用。表示的是小数部分长度，(M-D)表示的是整数部分长度。依赖于M和D的值,所以。
2023-11-24 16:49:41
542
原创 matplotlib画折线图踩过的一些坑
解决方案：plt.figure()这个初始化画布的代码有没有注释掉。plt.savefig()放在plt.show()的前面。
2023-10-10 11:24:30
65
原创 macbook电脑matplotlib中文画图框框的终极解决方案
一行代码搞定，全网终极解决方案，问题没有解决你砍我！注意，macbook电脑本地没有什么宋体/楷体，只认。
2023-10-09 20:13:53
70
1
原创 pandas将同一个userID的itemID拼接在一起
Users/lijinze/PycharmProjects/Jupiter-files/wechat/pandas分组+list格式转换.ipynb。
2022-10-17 20:30:10
188
1
原创 1912. 设计电影租借系统
1912. 设计电影租借系统](https://leetcode-cn.com/problems/design-movie-rental-system/)你有一个电影租借公司和 n 个电影商店。你想要实现一个电影租借系统，它支持查询、预订和返还电影的操作。同时系统还能生成一份当前被借出电影的报告。所有电影用二维整数数组 entries 表示，其中 entries[i] = [shopi, moviei, pricei] 表示商店 shopi 有一份电影 moviei 的拷贝，租借价格为 pricei 。
2022-03-25 11:54:42
568
原创 1472. 设计浏览器历史记录
1472. 设计浏览器历史记录](https://leetcode-cn.com/problems/design-browser-history/)难度中等45收藏分享切换为英文接收动态反馈你有一个只支持单个标签页的 浏览器 ，最开始你浏览的网页是 homepage ，你可以访问其他的网站 url ，也可以在浏览历史中后退 steps 步或前进 steps 步。请你实现 BrowserHistory 类：BrowserHistory(string homepage) ，用 homepage 初始化
2022-03-20 23:18:52
253
原创 460. LFU 缓存
请你为 最不经常使用（LFU）缓存算法设计并实现数据结构。实现 LFUCache 类：LFUCache(int capacity) - 用数据结构的容量 capacity 初始化对象int get(int key) - 如果键 key 存在于缓存中，则获取键的值，否则返回 -1 。void put(int key, int value) - 如果键 key 已存在，则变更其值；如果键不存在，请插入键值对。当缓存达到其容量 capacity 时，则应该在插入新项之前，移除最不经常使用的项。在此问题中
2022-03-20 23:17:13
70
原创 721. 账户合并
721. 账户合并](https://leetcode-cn.com/problems/accounts-merge/)难度中等347收藏分享切换为英文接收动态反馈给定一个列表 accounts，每个元素 accounts[i] 是一个字符串列表，其中第一个元素 accounts[i][0] 是 名称 (name)，其余元素是 *emails* 表示该账户的邮箱地址。现在，我们想合并这些账户。如果两个账户都有一些共同的邮箱地址，则两个账户必定属于同一个人。请注意，即使两个账户具有相同的名称，它们也可能
2022-03-16 09:32:34
509
原创 684. 冗余连接
684. 冗余连接难度中等438收藏分享切换为英文接收动态反馈树可以看成是一个连通且 无环 的 无向 图。给定往一棵 n 个节点 (节点值 1～n) 的树中添加一条边后的图。添加的边的两个顶点包含在 1 到 n 中间，且这条附加的边不属于树中已存在的边。图的信息记录于长度为 n 的二维数组 edges ，edges[i] = [ai, bi] 表示图中在 ai 和 bi 之间存在一条边。请找出一条可以删去的边，删除后可使得剩余部分是一个有着 n 个节点的树。如果有多个答案，则返回数组 edges 中
2022-03-16 09:31:50
170
原创 python中的代码对象和闭包在异常处理中的应用
Python 中的代码对象 code object 与 code 属性**代码对象 code object 是一段可执行的 Python 代码在 CPython 中的内部表示。可执行的 Python 代码包括：函数模块类生成器表达式当你运行一段代码时，它被解析并编译成代码对象，随后被 CPython 虚拟机执行。代码对象包含一系列直接操作虚拟机内部状态的指令。这跟你在用 C 语言编程时是类似的，你写出人类可读的文本，然后用编译器转换成二进制形式，二进制代码(C 的机器码或者是 Python
2022-03-13 18:01:46
139
原创 操作系统知识点
cpu计算密集型和io密集型**一. 计算机的简介计算机的中央处理器包含：运算器和控制器，统称为“中央处理器”，即为CP存储器又分为：内存和外存；cpu、存储器、输入设备、输出设备等接口均通过 "系统总线"连接在一起；总线粗略理解为“主板”；cpu架构和工作原理计算机有5大基本组成部分，运算器，控制器，存储器，输入和输出。运算器和控制器封装到一起，加上寄存器组和cpu内部总线构成中央处理器（CPU）。cpu的根本任务，就是执行指令，对计算机来说，都是0，1组成的序列，cpu从逻辑上可以划分为3
2022-03-07 09:52:31
199
原创 单元测试nose
1.什么是单元测试？**首先要知道，代码的终极目标有两个，第一个是实现需求，第二个是提高代码质量和可维护性。 单元测试是为了提高代码质量和可维护性，是实现代码的第二个目标的一种方法。单元测试（unit testing），是指对软件中的最小可测试单元进行检查和验证。至于“单元”的大小或范围，并没有一个明确的标准，“单元”可以是一个函数、方法、类、功能模块或者子系统。2.单元测试谁来做？开发人员做单元测试：**优点：**开发人员对代码最熟悉，而且开发人员编程技能相对比较强，所以开发人员自己写单元测试效率
2022-03-05 20:24:20
444
原创 loguru在工程日志中的应用
1.Python的logging模块中的error和exception区别**共同点：logging模块有6个级别，由低到高为NOTSET>>DEBUG>>INFO>>WARNING>>ERROR>>CRITICAL，其实无论是error还是exception，它们的错误等级都是ERROR级别。from loguru import loggertry: port, minimum = 10, 12 assert port &
2022-03-05 00:30:46
512
原创 自动化部署脚本
自动化部署流程**deploy.sh#!/bin/bashbasepath="/home/lijinze1/workspace/hot_news_crawler"cd ${basepath}function git_download(){ branch=$1 git pull origin ${branch} tar zcvf ../hot_news_crawler.tar.gz ../hot_news_crawler --exclude .git --exclude
2022-03-04 12:15:30
143
原创 python操作redis的基础类
项目中读取redis的类以及开发(测试)环境的处理**import redisfrom .config import Config class IndexTool(object): def __init__(self, host, port, pwd, db): self.ttl = 7*24*60*60 self.pool = redis.ConnectionPool( host=host, port=port
2022-03-03 23:59:40
1026
原创 Python 线程,with的作用(自动获取和释放锁Lock)
Python 线程,with的作用(自动获取和释放锁Lock)import threadingimport timenum=0 #全局变量多个线程可以读写，传递数据mutex=threading.Lock() #创建一个锁class Mythread(threading.Thread): def run(self): global num with mutex: #with Lock的作用相当于自动获取和释放锁(资源) fo
2022-02-27 19:21:18
766
原创 python装饰器与try-catch的结合
python语法糖之装饰器try-catch**def exception_warpper(func): functools.wraps(func) def inner(*args, **kwargs): func_name = '' ret = None try: func_name = func.__name__ ret = func(*args, **kwargs) exc
2022-02-25 00:25:53
791
原创 loguru包的使用
loguru包的使用 log_level = 'INFO' if not os.path.exists(logs_path): os.makedirs(logs_path) if not os.path.exists(data_path): os.makedirs(data_path) if not os.path.exists(conf_path): os.makedirs(conf_path) logger.re
2022-02-25 00:21:05
692
原创 python爬虫之字符集和编码
python requests的content与text方法的区别**requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。两者区别在于，content中间存的是字节码，而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。直接输出content，会发现前面存在b’这样的标志，这是字节字符串的标志，而text是，没
2022-02-15 14:29:03
1987
1
原创 shell的set命令
set`命令是 Bash 脚本的重要环节，却常常被忽视，导致脚本的安全性和可维护性出问题。本文介绍它的基本用法，让你可以更安心地使用 Bash 脚本。一、简介我们知道，Bash 执行脚本的时候，会创建一个新的 Shell。$ bash script.sh上面代码中，script.sh是在一个新的 Shell 里面执行。这个 Shell 就是脚本的执行环境，Bash 默认给定了这个环境的各种参数。set命令用来修改 Shell 环境的运行参数，也就是可以定制环境。一共有十几个参数可以定制，官方
2022-02-09 15:23:49
648
原创 linux计算md5的命令以及md5的原理
如何计算linux的md5值echo -n xxxx | md5sum例如计算某个url的md5值echo -n "https://www.toutiao.com/amos_land_page/?topic_id=7056654219297685518" | md5sum | cut -d " " -f1返回结果7abb72ac5f9eccccc3150d65ae6ada23说明：echo -n : 不打印换行符。(注意: echo -n 后面的-n参数必须加上, 这样算出的字符串的md
2022-02-09 14:57:53
15102
原创 python关于线程相关
cpu计算密集型和io密集型**一. 计算机的简介计算机的中央处理器包含：运算器和控制器，统称为“中央处理器”，即为CP存储器又分为：内存和外存；cpu、存储器、输入设备、输出设备等接口均通过 "系统总线"连接在一起；总线粗略理解为“主板”；cpu架构和工作原理计算机有5大基本组成部分，运算器，控制器，存储器，输入和输出。运算器和控制器封装到一起，加上寄存器组和cpu内部总线构成中央处理器（CPU）。cpu的根本任务，就是执行指令，对计算机来说，都是0，1组成的序列，cpu从逻辑上可以划分为3
2022-02-03 12:38:12
746
原创 shell进程管理
shell进程管理判断进程是否还在work，如果进程被kill掉进行重启python_path=/da1/hdp-svideo-algo/wangxiaoyang/miniconda3/bin/pythonsrc_base_dir=/da1/hdp-svideo-algo/wangxiaoyang/zm/recall/srcmod_name=action_dislike_userid.pyNUM=`ps aux | grep ${mod_name} | grep -v grep |wc -l`
2022-01-10 20:28:24
566
原创 推荐引擎上策略的步骤以及查bug的方法
Step1 开发在dev2上拉取gitlab上的代码进行开发，之后在工程根目录执行以下命令对引擎代码进行打包make qmodule_getmake package将packages目录下生成的压缩包上传到demo环境（var105），执行tar zxvf xxx解压注意1.我们需要对version里面的版本加1[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pvu26fkA-1640769752345)(/Users/lijinze/Library/Appl
2021-12-29 17:22:47
110
原创 hadoop-streaming多输入join与shuffle原理解读
多个输入的join在reducer的写法def read_mapper_output(file,separator='\t'): for line in file: yield line.rstrip().split(separator,1)def main(separator='\t'): data=read_mapper_output(sys.stdin,separator=separator) for feature, group in groupby(d
2021-12-27 15:10:22
198
原创 hadoop-streaming万能脚本模板
shell相关比较逻辑运算语句shell中的比较不是使用简单的> = <等，而是用扩展符，如下所示： -eq //equal 等于 -ne //no equal 不等于 -gt //great than 大于 -lt // low than 小于 ge // great and equal 大于等于，注意没有"-" le //low and equal 小于等于，注意没有“-”shell打印日志
2021-12-27 11:48:23
1282
原创 Shell脚本中的while getopts用法小结
Shell脚本中的while getopts用法小结getpots是Shell命令行参数解析工具，旨在从Shell Script的命令行当中解析参数。getopts被Shell程序用来分析位置参数，option包含需要被识别的选项字符，如果这里的字符后面跟着一个冒号，表明该字符选项需要一个参数，其参数需要以空格分隔。冒号和问号不能被用作选项字符。getopts每次被调用时，它会将下一个选项字符放置到变量中，OPTARG则可以拿到参数值；如果option前面加冒号，则代表忽略错误；命令格式：getopt
2021-12-27 11:46:29
700
原创 给予DeepMatch框架进行召回实战
什么是DeepMatch？众所周知，推荐系统包括召回(match)->粗排(rank)->精排(rank)->重排(rerank)。阿里巴巴的浅梦大神对于召回和排序分别开发了两套框架deepctr, deepmatch。如何安装deepctr和deepmatch？截止到2021-10-02，deepmatch只支持tf到1.x版本，tf-2.0.0及以上版本暂时不支持deepmatch，且deepmatch依赖于deepctr的0.8.2版本。安装deepctr：pip instal
2021-12-02 23:48:31
2182
1
原创 特征排查的总结
项目背景小学三年级的正转正续班率比其他年级的要低很多，我们想排查一下原因，方法如下：用xgb输出一下特征的重要度，选取一些排名比较靠前的特征，我们将该特征在训练集和测试集上的分布进行可视化。可视化代码# 只看三年级英语train_df3 = train_df.loc[(train_df['grade']==13)&(train_df['subject']==1)]pred_df3 = pred_df.loc[(pred_df['grade']==13)&(pred_df['subj
2021-07-28 11:17:42
68
原创 2021-07-18
单元测试与TMK项目复盘第一个问题：如何处理接口结果的落表以及读取 def parse_json(self, data): res = [] for i in data: df_dict = {} json_dict = json.loads(i[1]) content_words, context_time = "", 0 if not json_dict.get('r
2021-07-18 22:01:54
103
2
原创 以pycorrector为例讲讲docker以及dockfile
第一个问题什么是dockerfile？pycorrector是一个文本纠错的包，它的dockerfile是这么写的FROM centos:7MAINTAINER XuMing "[email protected]"RUN yum -y install python36RUN yum -y install git boost-devel boost-test boost zlib bzip2 xz cmake makeRUN yum -y install gcc-c++RUN yum -
2021-07-18 14:57:18
336
原创 pandas模块化设计
pandas模块化设计pandas对某一个字段实现功能，返回为多个字段，我们该如何实现？背景：我们有一个字段，记录了每条通话记录，我们要对该条通话记录进行质检，将通话记录中的违规词识别出来，并且统计违规词的个数对其打分，结果分别为score(int), obeyed_words(string), type(string)上代码df['obeyed_words'], df['type'], df['score'] = zip(*df['content'].apply(self.identify_obe
2021-07-16 11:42:55
76
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人