weixin_43065003的博客

原创 SQL-交换两列部分值

背景：level_video_image表里ad_level1_id，ad_level2_id字段至入库时候，存在部分写反了，即：目地：交换写反的部分，ad_level1_id，ad_level2_id字段值表名：level_video_image、qq_media_ad_info表字段对应关系：建表语句：易错点： 数据检查：

原创 每日一坑：Github配置ssh后，拉代码依旧需要鉴权，且鉴权失败。

背景：个人github配置好ssh后，clone代码之后，写了些新的内容准备提交到github，然后提示需要输入用户名、密码，然后鉴权失败。3.设置成ssh格式的url，设置完成后 通过 git remote -v 检查下是否设置成功～，然后就可以正常pull or push代码了～一、ssh失效原因：虽然配置了ssh代码但是git clone 的时候用的是http，而不是ssh，所以ssh没有生效。git remote set-url origin git@github.com:用户名/项目.git。

原创 某音SQL实战

统计在有用户互动的最近一个月（按包含当天在内的近30天算，比如10月31日的近30天为10.2~10.31之间的数据）中，每类视频的转发量和转发率（保留3位小数）。保留3位小数:round( retweet_rate,3) as retweet_rate_round。转发率:SUM(if_retweet) /count(*) as retweet_rate。：转发率＝转发量÷播放量。

原创 解决docker mysql 8.0 遇到sql_mode=only_full_group_by的问题

背景：为了避免本地环境污染，希望通过docker安装mysql，练习sql使用。安好之后发现建表的时候遇到sql_mode=only_full_group_by的问题。

原创 爬虫——根据两点坐标生成贝瑟尔曲线滑动路径

背景：使用selenium自动化模拟点选验证码的时候，由于直接将鼠标移动到点选点，被对方网站识别为非人为操作轨迹，因此需要从 已知两点 生成类似手动移动的鼠标轨迹。

原创 Spark源码流程图

原创 SQL-分组取最大、删除重复邮件

第一步，按account_id分组，并找出最大的更新时间max(update_time) AS max_update_time。第二步，按account_id关联两张表。

原创 ES 查询语句

1.match，匹配包含 “rock” 或“climbing”，二者可以分开出现全文搜索 | Elasticsearch: 权威指南 | ElasticGET /megacorp/employee/_search{ "query" : { "match" : { "about" : "rock climbing" } }}2.match_phrase，仅匹配同时包含 “rock” 和 “climbing” ，并且 二者

原创 Java 实现生成MD5 UDF函数（用户自定义函数）,供hive使用

Java 实现生成MD5 UDF函数（用户自定义函数）,供hive使用背景：虽然 Hive 已经提供了很多内存的函数，但还是不能满足用户的需求，因此有提供了自定义函数供用户自己开发函数来满足自己的需求。要求：用java实现 自定义的UDF函数 该函数用于生成MD5

原创 大数据训练营-Hive SQL影评分析

【代码】大数据训练营-Hive SQL影评分析。