小洪鼠-CSDN博客

原创 MySQL字符串截取函数案例详解

一、left()left()：顾名思义就是从左边截取字符串。用法：left(str, length)，即：left(被截取字符串，截取长度)SELECT left('JingLiPoSuo',2);结果为：Ji二、right()right()：顾名思义就是从右边截取字符串。用法：right(str, length)，即：right(被截取字符串，截取长度)SELECT right('JingLiPoSuo',2);结果为：uo三、截取特定长度的字符串截取特定长度的字符串有两

2022-03-10 14:58:58 2431 1

原创 python爬虫案例-跳过百度验证，接口调用实现百度搜索功能

需求背景：我们有自己的平台，但是希望在我们的平台上面想要实现一个百度搜索的接口，输入想要搜索的内容，模拟百度搜索，将返回的内容再展现在我们自己的平台中，提供给用户查看。# -- coding:utf8 --import hashlibimport randomimport sysimport timefrom pprint import pprintfrom urllib.parse import quotefrom bs4 import BeautifulSoupfrom reques

2022-02-25 16:40:05 5182

原创虚拟机器ping外部地址不通过问题 ping: baidu.com: 未知的名称或服务

开启自己的虚拟机器的时候使用xshell 连接发现一直无法连接上去，于是去虚拟机中ping baidu.com 的时候提示错误信息，通过对本地的网络地址进行对比发现问题。[root@master ~]# ping baidu.comping: baidu.com: 未知的名称或服务一、首先检查你的虚拟机网络二、查看子网ip三、查看DHCP设置四、在到虚拟机的网络配置中查看输入如下命令[root@master ~]# vi /etc/sysconfig/network-script

2021-11-11 00:37:53 8245

原创 MySQL实现短路或逻辑操作

背景突然接到一个需求，需要给我们的职位信息表增加一个字段，存放的是该职位对应的字典表中存放的编码，因为我们的职位信息表前期都是没有统一标准的，都是发布职位者自定义的，所以现在需要对职位进行模糊匹配，匹配到我们字典中规范的职位信息，然后将字典中规范职位的编码更新到职位信息表中新增的这个post_code 字段中。要求如下：如果能直接匹配，就用直接匹配职位名称的那条记录的code编码如果不能直接匹配，就要找字典中包含了该职位名称的记录，然后取包含职位名称的这行记录的凑得编码如果职位信息表中的职位是包

2021-10-25 21:57:42 820

原创分组显示5条数据，但是只想要分组出3条结果，另外的两条合并到其中一条上面

未做处理直接直接分组出现的结果想要实现的效果一天在做业务开发的时候需要满足上面图片的需求，我也不知道能不能在group by里面使用if逻辑判断，我问了我旁边的技术组长，他说他也没有遇到过这样的需求，然后我就大胆的尝试了运行一下，惊奇的发现既然在group by里面是可以运行if逻辑判断的，然后我就使用这个逻辑判断实现了将五个分组结果，通过逻辑判断实现分组后只有三个分组结果的显示。思考：mysql官方文档应该是有说明group by 中可以使用if逻辑判断的，只是我自己还没有阅读到这部分的内容，技

2021-09-17 10:36:00 265

原创 Data truncation: Incorrect datetime value: ‘2021-10%‘ for column ‘MaxChargeDate‘ at row 1；

调用存过会报出这样的错误提示，Data truncation: Incorrect datetime value: ‘2021-10%’ for column ‘MaxChargeDate’ at row 1;出现这个问题的原因是因为数据库配置了时间格式为严格模式，所以严格要求世家是在有效的时间范围内的（1997-07-07 00：00:00），但是你写成（0000-00-00 00;00：00）这种格式或者其他格式都是不符合严格模式下的时间格式，所以都会报错。遇到这种情况要么你修改数据库的配置，将严格

2021-09-17 10:01:16 2125

原创协助后台开发人员实现一个数据查询功能的开发。

接到一个开发人员给我的需求，让我帮他整出来。业务需求：现在我们是有两种企业身份，假设A为发布活动企业，B为参与活动企业。A企业下面有二级账号A_1,与三级账号A_1_1。B企业也是一样有二级账号B_1,三级账号B_1_1。推荐代理商会存上面所有类型的身份。现在需要实现的业务是，如果推荐代理商为A泽直接显示A,如果推荐代理商为A企业下二级的A_1，则直接显示A_1。如果推荐代理商为A企业下三级的A_1_，则直接显示A_1。如果推荐代理商为A企业下的A_1，则直接显示A_1。如果推荐代理商为

2021-08-10 21:39:47 178

原创 MySQL实现在表中找出多列相同，只有一个列不一样的数据行，找出存在重复的数据行

应为业务需要，在数据清理的时候需要对重复的数据进行清洗，所以用到了下面两种方案来找出表中存重复的数据，然后将重复的部分数据清理掉，方法如下。推荐使用第一中方法，因为第二种方法还需要使用一个函数来将数据进行拼接，然后在做分组。方案一select customer_info_idfrom customer_breakdown where yearmonth='202116'and in_use='1'GROUP BY customer_info_id,business_type,custome

2021-07-08 12:55:18 1067

原创 1093 - You can‘t specify target table ‘hrb_zp_people_talent‘ for update in FROM clause

1093 - You can’t specify target table ‘hrb_zp_people_talent’ for update in FROM clause在执行下面代码的时候出现了标题的错误提示，发生这个错误的原因是因为MySQL不支持，从一个表中进行查询再从这个表中进行对应子查询结果的数据删除或者修改。如果想要实现这种删除就需要对代码做一点点修改，即可将对应的数据删除掉。delete from peoplewhere operator_name='hongshixing'and

2021-06-19 23:50:26 96

原创错误：master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

搭建Hadoop完全分布式集群中出现master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).问题。出现这问题是因为免密登录配置上的缺陷导致，所以只要解决免密问题即可。如果是master 开头的，说明是本地的免密配置文件没有配置好。ssh localhost -- 也会让你输入密码的，可以使用这个命令测试一下，如果还是让输入密码那就是本机的免密配置没有配置。处理方法是 cat /root/.ss

2021-06-14 11:25:59 11000

原创使用游标进行循环分类统计

需求开发过程中有一个业务需求，只有一个字段作为区分每个组织单位，因此无法仅仅使用一个简单的查询语句来处理，需要写两个存过，做判断，如果入参为市一级别，就调用存过，如果为镇就可以直接执行查询语句。下面是实现的样子。要求一点击市只显示镇一级的统计信息（但是真实要统计的是各个镇，以及各个镇下级乡村社区的所有数据的总和），不单单是统计镇这个组织的数据，所以模糊匹配无法使用。要求二点击镇的组织的时候需要统计整个镇的所有数据以及这个镇所有村社区的各个分组的统计数据，这里是可以使用模糊匹配，但是还需要用到un

2021-05-18 20:31:08 298 1

原创 MySQL查询优化-组合索引的使用

背景：公司的一个在用的系统，如果查询数据量很小很小勉强还可以用，但是数据量稍微多一点点就直接卡爆了，因为系统有Nginx来设置超时，业务人员在使用的时候发现如果是点击大一点的组织，系统就会卡住了，无法加载数据出来。于是需要从数据库将数据查询出来，发现从数据库进行查询既然也是很慢，于是就将之前别人开发这个查询脚本拿出来解剖。通过分析发现查询很慢的原因是两个表在进行关联的时候进行了笛卡尔乘积计算，将一个五千多条的数据和九千多条的数据进行了乘积运算，数据直接跑到了四百多万。这个时候如果没有创建索引，那将会进行

2021-04-28 19:03:50 259

原创 Power Disigner 如何将数据库中的表结构转换成word文档

背景最近需要整理数据库系统的文档资料，需要将数据库中的表结构整理出来，让其他人员比较直观的看懂系统中的数据库表结构，所以需要使用到power disinger 进行转换。案例：原来的样子需要实现的样子数据库导出表结构找到对应的表右键导出表结构然后你可以获得一个这样的表结构文件power disinger导入模板将下面的模板文件拖到上面的软件打开，或者直接打开也可以打开后就会是下图样子，工作空间是没有文件的power disinger转换sql表结构开始导入文件选择

2021-04-14 15:09:38 1171 1

原创简历投递数据统计数据查询优化（MySQL数据库开发）

业务场景需求，需要查询出某个招聘岗位投递简历人员数量（要求：将已投递该岗位，但是此人在数据库中已经不存在的人员过滤掉不做统）select a.*,count(temp.apply_id) as apply_number from info_request aLEFT JOIN (select b.* from people_apply_record b join people_baseinfo c on c.people_id=b.people_id and c.in_user=1 w

2021-03-15 18:43:05 398 2

原创员工年龄分布报表统计（MySQL数据库开发）

业务场景：需要对系统中员工年龄分布进行数据统计分析。select age_temp,count(*) as total ,CONCAT(round(count(*)/(select count(*)from people_baseinfo)*100,2),'%') as rate from ( select age, case when age IS NULL OR age = '' then '未知' when age between 18 and 24 then '18-24岁

2021-03-15 14:28:04 1167

原创牛客网sql练习记录

35题insert or ignore into actor values('3','ED','CHASE','2006-02-15 12:34:33')这一题主要要是考察大家对insert or ignore into 的掌握，如果记得这个题目就很容易。注意：MySQL里面是这么写的，把or去掉。insert ignore into actor values('3','ED','CHASE','2006-02-15 12:34:33')36create table actor_.

2020-11-15 01:39:10 147

原创 hive数据仓库用户行为分析的简单实践

步骤一创建数据库仓库导入数据对small_user.csv数据进行预处理然后得到user_table.txtHdfs下创建bidata/dataset目录将本地的hongshixing_table.txt上传到hdfs查看数据在hive中创建数据库创建外部表在hive中查看数据步骤二进行 hive数据分析查看表结构简单查询分析1、用聚合函数 count()计算出表内有多少条行数据2、在函数内部加上 distinct,查出 uid 不重复的数据有多少条3、查询

2020-09-19 13:16:33 2517 2

原创数据库优化方案

InnoDB引擎的4大特性插入缓冲（insert buffer)二次写(double write)自适应哈希索引(ahi)预读(read ahead)存储引擎选择MySQL默认的Innodb引擎。MyISAM：以读写插入为主的应用程序，比如博客系统、新闻门户网站。Innodb：增删改操作频率高，或者要保证数据的完整性；并发量高，支持事务和外键。比如OA自动化办公系统。SQL的生命周期？应用服务器与数据库服务器建立一个连接数据库进程拿到请求sql解析并生成执行计划，执行读取数据到内存

2020-09-06 21:11:17 146

原创设计模式

创建模式这些设计模式提供了一种在创建对象的同时隐藏创建逻辑的方式，而不是使用 new 运算符直接实例化对象。工厂模式抽象工厂单例模式建造者模式原型模式结构型模式这些设计模式关注类和对象的组合。继承的概念被用来组合接口和定义组合对象获得新功能的方式。适配器模式桥接模式过滤器模式组合模式装饰器模式外观模式享元模式代理模式行为型模式这些设计模式特别关注对象之间的通信。责任链模式命令模式过滤器模式迭代器模式中介者模式备忘录模式观察者模式状态模式空对象模

2020-09-03 16:05:33 76

原创 ERROR 1698 (28000): Access denied for user ‘root‘@‘localhost‘

刚刚安装好mysql,但是登陆的时候却提示如标题的错误，我的mysql为8.0.21,unbuntu为20.0.2；以下是解决的步骤：一在终端输入如下命令sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf修改配置文件,在这个配置文件中的[mysqld]这一块中加入skip-grant-tables 代码，保存后关闭，这一步骤的作用是让你可以不用密码也可以登陆到mysql中去。[mysqld]## * Basic Settings#user

2020-09-01 16:45:13 154

原创 namenode无法启动，格式化失败

namenode无法启动，格式化失败格式化提示 hdfs namenode -format20/08/24 22:43:44 INFO namenode.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = Master/192.168.196.128STARTUP_MSG:

2020-08-24 23:44:49 11201 2

原创推荐一个会非常好用的记事本工具 ediray

作为一个程序员有一个良好的知识管理工具可是少不了啊，因为它可以给你的学习和工作带来很大的便利。让你做好工作总结工作记录，从而不断的成长。 [这个是他个人最新的下载平台链接，要是你觉得可以请自行下载](http://www.haoxg.net/ediary/download.html)背景前段时间在工作的过程中发现学过的技术还有知识总是容易忘记，反复的又去问别人感觉相当的打扰到别人，使用纸质的记事本好像不太符合我们程序员的工作性质，而且也会很慢，于是我就开始寻找一个记事本工具来解决这个问题。最..

2020-05-24 18:40:21 1839

hsx15777894525的博客