- 博客(8)
- 收藏
- 关注
RSS订阅原创 mysql批量删除表操作
前言今天在做项目自测的时候需要将80张表删掉，建表的语句有现成的，删表语句虽然简单，但删除80张表还是挺费劲的，今天就使用了一个操作，可以先获取删表语句，然后在运行这些sql语句就可以完成批量删除操作执行步骤从元数据表里获取表名拼接删表语句：Select CONCAT( 'drop table ', table_name, ‘;’ ) FROM information_schema.tables Where table_name LIKE ‘app_tchcont_%’;将sql语句复制到
2021-02-01 18:18:28
2239
原创 简单使用钉钉对线上flink任务的监控
flink 有自己的任务UI界面:http://127.0.0.1:8081/#/overview在界面中可以详细看到每个任务的具体信息，但是如果任务运行失败的情况下，失败任务的信息在UI界面里只会显示一个小时并且没有实时的报警机制，在公司内部没有对线上任务实现平台化的情况下可以依赖flink的API接口和钉钉的API接口实现对flink任务的实时报警...
2021-02-01 16:52:03
676
原创 python分词模块jieba的使用
前言之前了解jieba主要是在分词方面的使用，最近在具体的学习jieba相关的使用，才感受到jieba作为最好的中文分词组件功能的强大，下面对jieba具体功能的使用做一些总结。jieba的安装jieba的安装在原生python环境和anaconda环境不尽相同（之前一直以为anaconda是自带jieba的，使用是才发现需要安装），总体上一共有以下几种安装方式：全自动安装（原生pyth...
2021-02-01 11:45:29
603
原创 使用机器学习做文本分类知识点总结
操作流程涉及到知识点需要了解的知识点：文本特征表示：Bag-of-Word，N-gram分类器：logistic/softmax regression，损失函数、（随机）梯度下降、特征选择数据集：训练集/验证集/测试集的划分实验：分析不同的特征、损失函数、学习率对最终分类性能的影响shuffle 、batch、mini-batch...
2019-12-30 15:02:07
1892
原创 python进程、线程、协程
进程、线程、协程的区别GIL（全局解释性锁）：无论启多少个线程，有多少个cpu，Python在执行的时候会在同一时刻只允许一个线程运行。一个线程需要执行任务，必须获取GIL。好处：直接杜绝了多个线程访问内存空间的安全问题。坏处：Python的多线程不是真正多线程，不能充分利用多核CPU的资源。线程锁（互斥锁）：线程锁保证同一时刻只有一个线程修改内存空间的同一数据，GIL保证同一时刻只...
2019-12-09 20:40:14
236
原创 Mac安装 python jieba模块到anaconda
安装前言之前安装jieba好像直接 pip install jieba 就直接可以用了，中间换过一次电脑，今天做需要才发现自己的jieba没有安装，原来anaconda里居然没有jieba模块。直接pip install jieba 安装下载一会就报错了，尝试使用conda install jieba、easy_install jieba 也没有成功。正确安装步骤下载jieba安装包：h...
2019-11-25 18:22:15
3145
1
原创 spider使用post请求总结
1. 简介最近有做APP相关的爬虫，在使用scrapy框架调取post请求时遇到不少意外情况，现在做一下总结。2.问题总结在HTTP协议中，post提交的数据必须放在消息主体中，但协议中并没有规定必须使用什么编码方式，从而导致提交方式的不同，服务端根据请求头中的Content-Type字段来获取请求中的消息主体是用何种方式进行编码，从而对消息主体进行解析。** 具体的编码方式包括如下： *...
2019-11-19 16:11:34
764
原创 内容推荐系统设计总结
内容推荐系统设计总结简介文章画像的计算和更新用户画像的计算和更新实时计算业务流的实现简介利用用户的点击行为、浏览行为、收藏行为等建立用户画像和文章画像，结合机器学习等相关算法，找出用户画像和文章画像的关系，达到千人千面的推荐效果。文章画像的计算和更新用户画像的计算和更新实时计算业务流的实现...
2019-11-18 15:09:58
902
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人