bladestone
码龄19年
  • 6,083,718
    被访问
  • 502
    原创
  • 135,304
    排名
  • 1,231
    粉丝
关注
提问 私信

个人简介:15年的软件行业开发经验,9年项目管理经验;5年爬虫经验

  • 加入CSDN时间: 2003-07-07
博客简介:

木小鱼的笔记

博客描述:
技术之海,顺势者昌;看问题,要看思路与问题实质
查看详细资料
  • 7
    领奖
    总分 3,065 当月 35
个人成就
  • 博客专家认证
  • 获得1,259次点赞
  • 内容获得750次评论
  • 获得1,539次收藏
创作历程
  • 6篇
    2021年
  • 19篇
    2020年
  • 41篇
    2019年
  • 77篇
    2018年
  • 73篇
    2017年
  • 75篇
    2016年
  • 35篇
    2015年
  • 45篇
    2014年
  • 6篇
    2012年
  • 44篇
    2011年
  • 24篇
    2010年
  • 15篇
    2009年
  • 15篇
    2008年
  • 68篇
    2007年
  • 6篇
    2006年
成就勋章
TA的专栏
  • 数据爬虫
    34篇
  • Spring Boot实战
    81篇
  • 机器学习与人工智能
    5篇
  • Java技术
    139篇
  • Linux/Unix/FreeBSD
    65篇
  • 前端技术
    65篇
  • 数据库
    39篇
  • 管理思辨
    14篇
  • 脚本语言
    47篇
  • 问题分析
    72篇
  • 互联网技术
    30篇
  • 数据分析与机器学习
    14篇
  • 服务化与Spring Cloud
    37篇
  • 支付与结算
    3篇
  • NLP
    1篇
Blog
  • 设计模式解说
  • Nutch
  • 关于“一道引起全美大学生举国辩论的逻辑题”的答案
  • 算法图书
  • 国际信息学奥林匹克竞赛指导--实用算法的分析与程序设计
  • 计算机算法
  • PKI技术分析与应用
  • 新锐
  • Java基本面试题目
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

转载:MySQL深度分页的问题及优化方案-千万级数据量如何快速分页

原文链接: https://blog.csdn.net/Carson_Chu/article/details/108445426前言后端开发中为了防止一次性加载太多数据导致内存、磁盘IO都开销过大,经常需要分页展示,这个时候就需要用到MySQL的LIMIT关键字。但你以为LIMIT分页就万事大吉了么,Too young,too simple啊,LIMIT在数据量大的时候极可能造成的一个问题就是深度分页。案例这里我以显示电商订单详情为背景举个例子,新建表如下:CREATE TABLE `cps_us
转载
发布博客 2021.09.06 ·
216 阅读 ·
0 点赞 ·
0 评论

MySQL explain Type总结

explain在调试优化MySQL中,大家都需要使用explain查看SQL执行计划,其中的字段信息在本文中将逐一详述。基本信息DB: shopping.shool_infoCREATE TABLE `school_info` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(30) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '学院名称', `student_num` int DEF
原创
发布博客 2021.09.06 ·
80 阅读 ·
1 点赞 ·
0 评论

MySQL 回表 & 索引覆盖

索引类型聚簇索引: 叶子节点存储的是行记录,每个表必须要有至少一个聚簇索引。使用聚簇索引查询会很快,因为可以直接定位到行记录普通索引:二级索引,除聚簇索引外的索引,即非聚簇索引。普通索引叶子节点存储的是主键(聚簇索引)的值。聚簇索引递推规则:List item 如果表设置了主键,则主键就是聚簇索引如果表没有主键,则会默认第一个NOT NULL,且唯一(UNIQUE)的列作为聚簇索引以上都没有,则会默认创建一个隐藏的row_id作为聚簇索引索引结构id 是主键,所以是聚簇索引,其叶子节点存
原创
发布博客 2021.09.06 ·
372 阅读 ·
0 点赞 ·
2 评论

MySQL Index Condition小结

什么是index Condition?索引下推(index condition pushdown )简称ICP,在Mysql5.6的版本上推出,用于优化查询。在不使用ICP的情况下,在使用非主键索引(又叫普通索引或者二级索引)进行查询时,存储引擎通过索引检索到数据,然后返回给MySQL服务器,服务器然后判断数据是否符合条件 。在使用ICP的情况下,如果存在某些被索引的列的判断条件时,MySQL服务器将这一部分判断条件传递给存储引擎,然后由存储引擎通过判断索引是否符合MySQL服务器传递的条件,只有当索
原创
发布博客 2021.09.06 ·
110 阅读 ·
0 点赞 ·
0 评论

Maven之java.lang.ExceptionInInitializerError: com.sun.tools.javac.code.TypeTags异常分析

问题引入在项目中,编译代码过程中出现了如下问题:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project xxx: Fatal error compiling: java.lang.ExceptionInInitializerError: com.sun.tools.javac.code.TypeTags -> [
原创
发布博客 2021.02.07 ·
3224 阅读 ·
1 点赞 ·
2 评论

Macos安装brew攻略

## BrewMacos的apt-get和软件安装快捷方式## brew installoffiical site:https://brew.sh/install instruction:/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"但是在命令行执行之后,会发生如下错误:curl: (7) Failed to connect ...
原创
发布博客 2021.02.06 ·
301 阅读 ·
0 点赞 ·
1 评论

Macos下重置MySQL密码

环境信息Macos Catalina 10.15.7 (19H2)MySQL 8.0.22问题忽然一段时间忘记了MySQL数据库的密码,登录不上去了。该如何办呢?预想中的路径mysqld_safe --skip-grant-tables 设置密码不生效mysql -u root 直接登录重置密码之类的动作结果发现,mysqld_safe无法启动成功,一直被拒绝启动实际重置路径brew uninstall mysql 卸载mysqlbrew install mysql
原创
发布博客 2020.11.30 ·
729 阅读 ·
0 点赞 ·
0 评论

Python项目命令行执行无法找到Module(ModuleNotFoundError)

缘起在IDE中可以执行的Python代码,直接在命令行则无法执行,错误信息提示:ModuleNotFoundError: No module named 'xxxxx'原因分析基于命令行执行的时候,当前项目的代码没有作为依赖包放入命令行的依赖环境中PYTHONPATH。解决方案Solution:export PYTHONPATH=$PYTHONPATH:/opt/project_code_path参考文档1 解决python包ModuleNotFoundError问题...
原创
发布博客 2020.11.11 ·
608 阅读 ·
0 点赞 ·
0 评论

Data OnLine集合

这里写自定义目录标题目标集合目标记录线上可用的数据集合集合中国诗词 开源诗词周历
原创
发布博客 2020.10.27 ·
180 阅读 ·
0 点赞 ·
2 评论

Scrapy之CsvItemExporter生成的CSV文件乱码解决

环境信息Python 3.6.5Scrapy 2.2导出文件逻辑self.file = open("/Users/chenjunfeng02/Downloads/enrolldata.csv", "wb") self.exporter = CsvItemExporter(self.file, fields_to_export=["provinceCode", "provinceName", "collegeCode", "collegeName"])
原创
发布博客 2020.09.03 ·
663 阅读 ·
0 点赞 ·
0 评论

Scrapy回调函数callback传递参数的方式

Scrapy回调函数回调方法示例:yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)callback对应的是page_query_school()即为回调的方法。传递参数方式如何向回调方法中
原创
发布博客 2020.09.01 ·
3548 阅读 ·
1 点赞 ·
2 评论

Excel解决CSV文件中的乱码

背景对于CSV文件中的乱码问题,大概率是编码的问题,可以基于Excel进行编码转换,或将文本进行编码转化。解决办法打开Excel应用,点击文件,新建文件点击文件,选择导入,导入具体的CSV文件选择CSV文件:点击完成即可,然后就可以导入转换之后的信息填入Excel文件。总结基于Excel的转换能力实现乱码内容的转换,是非常简单易用的。...
原创
发布博客 2020.09.01 ·
737 阅读 ·
0 点赞 ·
0 评论

爬虫常用工具箱

Pythonscrapyrequest浏览器插件edithiscookie: 官方地址
原创
发布博客 2020.08.11 ·
368 阅读 ·
0 点赞 ·
0 评论

Pyechart在Jupyter Lab下无法正确显示图形的问题

问题pyechart是echarts在python下的版本,在jupyter-notebook中有时候会无法正确显示图形,该如何处理?处理办法## 1 声明notebook版本和配置from pyecharts.globals import CurrentConfig, NotebookTypeCurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LABimport pyecharts.options as optsfrom pyechart
原创
发布博客 2020.08.10 ·
2232 阅读 ·
1 点赞 ·
1 评论

Spring Boot中单元测试数据库的切换策略

问题缘起单元测试默认情况下使用嵌入式数据库,例如H2。如果要切换为MySQL,直接移除H2驱动,在application.properties(yml)配置相应的连接信息,都不起作用。那该如何切换配置呢?单元测试数据库在SpringBoot的单元测试中,默认使用嵌入数据库,例如H2,HSQLDB等.默认情况下无需指定具体的嵌入数据库类型,只需要在pom.xml文件中加入相应的数据库驱动即可,示例如下:<dependencies> <!-- 略去其余依赖 ---&g
原创
发布博客 2020.06.18 ·
2258 阅读 ·
0 点赞 ·
0 评论

Maven项目检查依赖包技巧总结

Maven项目依赖包在Java世界里,Maven用以管理项目的依赖包,其中存在直接依赖和间接依赖,会出现包之间的重复和多版本情况。该如何来检查其当前使用的依赖包版本信息呢?答案是: 使用mvn dependency:tree命令dependency:tree参数1: -Dverbose用法: 输出版本的详细信息,包括被覆盖忽略的版本。[INFO] | - (commons-collections:commons-collections:jar:3.1:compile - omitted
原创
发布博客 2020.05.27 ·
796 阅读 ·
0 点赞 ·
0 评论

JDK 8 Stream List转换为Map的duplicate Key异常

Stream List to MapStream提供了List转换为Map提供了非常易用的方法:Collectors.java:public static <T, K, U> Collector<T, ?, Map<K,U>> toMap(Function<? super T, ? extends K> keyMapper, Function<? super T, ?
原创
发布博客 2020.05.25 ·
2403 阅读 ·
1 点赞 ·
0 评论

MySQL之[42000][1055] Expression #1 of SELECT list is not in GROUP BY clause问题

问题提出MySQL数据表查询语句:select * from t_user where sex = 0 group by home_address having count(id)>0;提示如下错误信息:[42000][1055] Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'spb-db.t_user.id' which is not functionall
原创
发布博客 2020.05.23 ·
827 阅读 ·
0 点赞 ·
2 评论

Spring MVC Controller传递枚举值示例

功能描述本文将通过一个小示例,展示在请求参数中传递枚举值。枚举定义角色类定义:public enum RoleEnum { EMPLOYEE((short)1, "Employee"), MANAGER((short)2, "Manager"); private Short value; private String desc; private RoleEnum(Short value, String desc) { this.value = value; this.desc
原创
发布博客 2020.05.14 ·
3319 阅读 ·
0 点赞 ·
0 评论

Java Generic Method设置类型

问题提出在JUnit中编写单元测试之时,发现如下问题:assertThat其定义如下: public static <T> void assertThat(T actual, Matcher<? super T> matcher) { assertThat("", actual, matcher); }解决修改策略:Assert.<java.lang.String>assertThat(vehicleTeamMemberResDto.
原创
发布博客 2020.05.12 ·
338 阅读 ·
0 点赞 ·
0 评论
加载更多