- 博客(16)
- 收藏
- 关注
RSS订阅原创 pandas groupby分组聚合 连用的小细节
试了 mean sum cumsum shfit() max等在groupby与 sum或者mean连用对dataframe的某列进行分组求和的时候,如果被求和的列为空列,且类型为原始空,就是没有数据类型.这样的列会被过滤掉.如果空为np.NaN,这样计算后会变成0.0cumsum 只与groupby连用就会只剩被cumsum这一列,但如果加上apply(lambda)就会保留分组列shfit() 我用到的情况是分区排序求和a[['x','c']]=a.groupby(['s','d'],
2022-01-19 14:12:59
402
1原创 ES搜索引擎 ik_max_word和ik_smart分词器 索引 Kibana
ES中put 新增post 修改Kibana开发工具,用来往ES引擎中对文档进行操作和生成文档的对应索引的ik_max_word最细密度的拆分文本,会穷尽各种组合,适用于Term Queryik_smart最粗密度的拆分文本,适合Phrase查询文档经过ik分词器生成倒排索引 (字符串两种text类型分词,keyword不分词(barcode条码))ik分词器有自己的词典存有百万计的中文词,分出的词段与字典匹配,字典有就保留索引(是具有实现关键词-文档矩阵的具体数据结构的数据)(里.
2021-09-29 21:19:16
6813
原创 分布式事务
单体应用数据库事务spring控制使用@Tran'sactional就行(本地事务)分布式事务是若干个模块实现捆绑,变成一个事务,每个模块各自执行个的sql操作,但是有一个失败,所有回滚TC事务协调器,就是用来做事务协调控制的,每个模块的成功和失败都有向TC法松相应的数据每个模块之中都有一个rm资源管理器,通过rm实现事务的整体的提交和回滚seata是阿里专门做事务的工具全局唯一id发号器,是给每个服务产生的往数据库中存放的数据进行统一的编号发号,不让服务自己生成,以免冲突,这个id发放
2021-09-21 00:17:00
400
原创 sql相关代码及问题
导入的sql过大从而导入失败我们可以在输入框输入以下代码set global max_allowed_packet=100000000;set global net_buffer_length=100000;set global interactive_timeout=28800000;set global wait_time=28800000;
2021-09-17 18:52:39
60
原创 内存相关知识
线程共享区(堆内存,方法区(元数据区))类加载到方法区线程私有区(栈内存,程序计数器)程序计数器用来记录cpu执行线程的位置,继续执行时,在记录点继续执行.
2021-09-17 16:11:59
39
原创 eureka
Connect to localhost:8761 timed out这个错误时由于eureka未链接到8761端口造成的,8761是eureka默认链接端口,如果eureka配置中没有对其指定对应路径时,就会默认路径为8761,会不断的尝试链接这是默认url的相关源码解决方法就是在eureka的配置文件中加入defaultZone,这个配置会覆盖默认的urleureka: client: service-url: defaultZone: http://eureka.
2021-09-16 18:28:12
146
原创 nginx 域名 http/https
nginx配置文件 在nginx/conf/nginx.confhtml{ upstream 集群名称{ server http://xxxxxxxx upstream是实现负载均衡的关键字,这四行代码实现了反向代理发出 server http://yyyyyy 请求的负载均衡 采用轮询的机制访问 } server{ listen 80; 监听的端口号 server_na.
2021-09-13 18:41:00
225
原创 Zuul网关 hystix 配置中心
统一的调用接口统一的权限校验集成了ribbon集成了hystrix具体部署的时候网关前面部署nginx或者f5负载均衡器部署在最前端,客户直接访问
2021-09-12 00:18:13
472
原创 数组 链表 hash
数组在内存空间是连续的.链表(linked List)的储存空间可以是不连续的,每个数据之间是通过指针来联系起来的,链表分为单链表,双链表,循环链表(单向循环,双向循环)链表核心操作 插入,删除,遍历单链表中的内存结构是通过next指针链接在一起组成,next指针指向下一个数据域,(节点)内存结构由数据data和next指针两部分区块组成.链尾的next指针设为null[指向空],遍历方向单一从头到尾双向链表由next指针和prew指针和数据三个区块组成,next指针指向下一个数据域,指
2021-09-03 17:30:17
228
原创 拦截器 和 aop切面编程
网关是一个服务 springmvc拦截器是在服务当中这两是两种技术 ,网关当中有过滤器 请求会在网关进行负载均衡然后进行转发AOP面向切面编程@Aspect注解描述的类我们称为切面对象,此对象负责定义切入点和通知 切入点 那些方法执行时我们进行功能拓展 @Pointcut("@annotation(.....)")通过@pointcut注解定义切入点表达式 @annotation(自己定义的注解) 通知 所有的拓展逻辑都会写到通知方法中...
2021-08-26 20:49:50
230
原创 类加载器 加载 缓存 进程加载 JDK1.8 引用类型数据和基本数据类型比较
启动类加载器,由c++实现,没有父类拓展类加载器(ExtClassloader),由java语言实现,父类加载器为null系统类加载器(AppClassLoader),由Java语言实现,父类加载器为ExtClassLoader自定义类加载器,父类加载器为AppClassLoaderingter q 为引用数据类型 ==比较比较数值和地址(类似于对象) q储存的是引用类型对象的地址值在常量池范围内 定义的变量 是直接从常量池中取(没有的话创建之后储存在常量池里共二次使用).
2021-08-25 22:04:03
155
原创 feign ribbon
restTemplate 是封装了httpClientfeign方式 封装了OKhttpclient-->tomcat-->servlet-->feignconsumercontroller--->remoteproviderservice-->用OKHttp的技术用io流的方式向远端发出请求fegin的实现接口 不需要我们自己创建实现类 底层会自动帮我们创建一个代理对象（实现类），接口产生的代理对象就是这个接口的实现类，亦代理对象是接口实现类对象（aop切面知识点
2021-08-21 20:08:41
226
原创 配置文件加载 生效的先后顺序
bootstrap.yml --->bootstrap.properties---->application.yml---->application.propertiesyml文件优先级高于properties文件,但是同时存在时最终的配置,相同的后者会覆盖前者
2021-08-19 17:15:32
237
原创 安装免安装的db或者忘记密码时候的报错与解决
(安装)1先修改环境变量(path 和 MYSQL_HOME)如果启动不了则需要设置服务先在MySQL目录里创建data目录 如果有清空data即可 创建my.ini配置文件如果有配置文件只需在第一行[mysqld]下一行添加如上图的第二行代码.在nysql的bin目录用管理员身份打开cmd(输入完cmd敲击shift+ctrl+enter)之后删除服务 sc delete mysql新建服务mysqld install mysql1045 (28000...
2021-08-16 23:56:10
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人