- 博客(29)
- 收藏
- 关注
RSS订阅原创 pandas.errors.InvalidIndexError: Reindexing only valid with uniquely valued Index objects（删除重复的索引）
原因： 读取多个数据文件 input_data 后,用append() 方法合并数据集,没用单独管索引。现象：打印数据会发现 df 数据集的索引 存在多个 0，1，2，3（每个数据文件都有单独索引）解决：df=input_data.append(df,ignore_index=True)
2024-06-12 15:27:44
149
1
原创 数据脚本迁移一般流程
1.创建目标表2.梳理脚本中的上游依赖3.申请上游表权限并转义脚本（同一数据库一般迁移只改表名就好，跨数据库迁移脚本可能存在sql函数不通用）4.脚本逻辑测试（上游得有数据，迁移的一堆脚本中的依赖关系也得梳理好），有条件把数据提前核对好5.投产上线6.核对投产前后数据。如存在数据不一致就定位问题...
2022-03-16 16:53:24
1495
原创 常用数据库
银行常用数据库有TD：Teradata数据库GP:Greenplum数据库GS:Guass数据库以及大数据环境的hive数据库；由于国产化数据库改革，以前TD和GP数据库在向GS和hive上迁移；其他数据库如MySQL和Oracle数据库本人在项目中并没有怎么接触到；感觉GS数据库和hive还是挺好的，在GP脚本迁移GS中部分函数不通用，数据核对个别函数可能会有问题；GS或者GP脚本迁移hive中一样，脚本转义和最后的数据核对是最费时间的。...
2022-02-11 17:02:47
2209
原创 sparkstreaming整合kafka运行报错
20/11/30 14:24:47 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(flashtown); groups with view permissions: Set(); users with modify permissions: Set(flashtown); groups with modify permis..
2020-11-30 14:31:37
798
原创 Flume source and sink
flume 实时从netcat采集数据到hdfs先从官网 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-sinks 拷贝样例然后将sink 为logger改为hdfs在hdfs sink中拷贝sink样例 ，并增加了三行代码# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1.
2020-11-20 17:47:50
134
原创 Refused to apply style from ‘http://localhost:63342/demo4/templates/css/zTreeStyle/zTreeStyle.css‘ b
这个问题还未解决，等着解决了回来写一下。
2020-08-06 10:35:49
4992
1
原创 Error creating bean with name ‘entityManagerFactory‘ defined in class path resource [org/springframe
报错：Error creating bean with name 'entityManagerFactory' defined in class path resource [org/springframework/boot/autoconfigure/orm/jpa/HibernateJpaConfiguration.class]: Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: j
2020-07-31 10:56:18
268
原创 @TableName和@TableId爆红时，加入pom依赖
<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.2.0</version> </dependency>
2020-07-27 17:17:16
11637
5
原创 JSONObject.fromObject爆红，显示无fromObject方法
<!--JSONArray.fromObject爆红--> <dependency> <groupId>net.sf.json-lib</groupId> <artifactId>json-lib</artifactId> <version>2.4</version> <classifier&g.
2020-07-27 16:57:32
2323
2
原创 @RestController不能正常跳转页面，显示结果仍是return值
配置信息没有出错，将注解@RestController改为@Controller，居然能够跳转到前端的页面了。@Controllerpublic class TestController { @Autowired private BaseClassService baseClassService; @ResponseBody @RequestMapping("/hello") public String hello(){ retur
2020-07-24 17:25:07
1119
2
原创 The server time zone value ‘�й���ʱ��‘ is unrecognized or represents more than one time zone. 报错
在数据源的url处加上&serverTimezone=Asia/Shanghai例如：spring.datasource.url=jdbc:mysql://localhost:3306/test1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai
2020-07-24 12:45:41
107
原创 This application has no explicit mapping for /error, so you are seeing this as a fallback.
在springboot项目中可能是由于启动类没有在最外侧，controller、mapper、service、model都应该在启动类同级以下的包
2020-07-22 16:16:07
529
原创 报错：Parameter ‘type‘ not found. Available parameters are [arg3, arg2, arg1, arg0, param3,
在传入的参数 String type、String branchName 、String level 前加上@Param(" ") 即可
2020-07-09 14:15:30
2526
原创 第一次用IDEA创建maven工程时间
第一次在idea中创建maven工程花费20+min欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown
2020-07-01 19:14:41
1401
原创 java进制转化方法
1.常用的进制方法 注：标红常用 System.out.println(Integer.parseInt("1001",16));//4097 十六进制转化十进制 System.out.println(Integer.valueOf("1001", 16)); //4097 十六进制转化十进制 ...
2019-08-21 16:20:52
272
原创 解决 Can not call getNString() when field's charset isn't UTF-8
错误翻译为：当字段的字符集不是utf-8时，无法调用getnstring（）。当自己把数据库的字符集设置为utf-8后，还是没有效果。解决方法：将数据库表中所有字段都设置成utf-8即可。在mysql数据库中执行：alter table `表名` convert to character set utf8 解决这个问题了...
2019-08-19 19:46:53
7831
3
原创 java.sql.SQLException: Unknown initial character set index '255' received from server. .....
开始出现错误（1）java.sql.SQLException:Unknowninitialcharactersetindex'255'receivedfromserver.Initialclientcharactersetcanbeforcedviathe'characterEncoding'property.错误提示根据提示在连接数据库时增加编码...
2019-08-18 15:39:34
13465
10
原创 Eclipse 视图看不见Referenced Libraries
一般java工程按照网上所说的3个步骤可以找到，没找到可以呀直接在项目中复制jar包，build path就出现了：1.javaEE改成java2.菜单Window->Show View->Other->Java->Package Explorer3.左侧视图中找到倒三角，设置Show Referenced Libraries4.还是没有找到Re...
2019-08-16 16:02:58
1349
转载 jsp&servlet（2）
servlet的会话管理实现会话的基本方式：（1）隐藏域（Hidden Field）（2）Cookie（3）URL重写（4）HttpSession我认为文章https://blog.csdn.net/lirx_tech/article/details/49586363介绍的比较清晰...
2019-07-16 20:42:10
76
翻译 jsp与servlet（1）
1 .Web应用程序简介（1）HTTP特点 基于请求（request）/响应（response）模型 无状态（Stateless）通信协议（2）GET与POST请求 GET请求跟随在URL之后的请求参数长度有限的，过长的请求参数或文件上传输大量数据，就用POST； GET请求的参数会显示在地址栏上，敏感性或有安全性...
2019-07-15 09:05:10
106
原创 spring ioc
生命周期： 生命周期主要是spring ioc容器的初始化和销毁bean的过程。大致过程可以分为bean的定义、bean的初始化、bean的生存期、bean的销毁4部分。（1）定义//通过@ComponentScan定义的路径扫描到带有@Component的类（相当于资源定位的过程），找到资源后开始解析，并将信息保存起来（保存到BeanDefinition的实例中）。（2）初始化...
2019-07-13 10:12:51
117
原创 spring starter project新建helloworld实例
区别war包与jar包1.war包：默认新建过程（项目名称还有各种选项都是默认的），唯一不同是选择jar包，最后新建目录结构为：（1）选择pom.xml，将版本默认的是最新的（尽量改小点，我的默认是2.1.6），我修改为2.1.4在运行时没有出错。（2）写Controller：package com.example.demo;import org.springfr...
2019-07-11 22:17:49
202
原创 Mybatis配置和映射器（待完善）
Mybatis配置1.properties（按优先级） (1)程序代码传递（一般用在SqlSessionFactory创建之前） (2)properties文件（用的最多） (3)property子元素2.settings3.typeHander4.plugins5.environments 1>transactionManager...
2019-07-10 21:21:55
64
原创 mybatis
mybatis核心组件：1.SqlSessionFactoryBuilder(构造器) 通过代码或者配置（XML）来生成SqlSessionFactory2.SqlSessionFactory（工厂接口） 使用的是工厂模式，生成SqlSession。可以认为是个数据库连接池3.SqlSession（会话） 可以发送SQL也可以获取Mapper接口 （1）获取mapp...
2019-07-10 18:49:05
70
原创 MySQL中出现 错误 2003Can‘t connect to MySQL server on‘localhost‘ (0)
MySQL中出现 错误 2003Can't connect to MySQL server on‘localhost' (0)在SQLyog这个工具上登陆不了，但是在cmd命令窗口中可以正常操作。解决办法是：在我的电脑右键-"服务"中，找到Mysql，关闭，然后在重启就行。之后SQLyog可以正常登陆。最后可以正常登陆了如果还是不能解决，建议重新装一下SQLyo...
2019-07-10 14:44:36
3238
2
原创 MVC分层模式
mvc分层模式设计各模块的职责清晰，方便以后业务梳理及扩展。1.视图层：用户界面展示，提供视图解析器2.控制层：负责接收前端的请求，并将处理结果分发给视图解析器解析3.服务层：封装业务级别操作，或者数据层通用逻辑操作4.数据访问层：搭建访问与数据源的操作dao与mapper5.工具层：非业务级别（分页操作，日期，随机数生成处理，加密工具）6...
2019-07-06 20:54:07
1270
原创 win10系统命令窗口执行Java程序
1.首先win10系统配置jdk1.8时，在配置环境变量Path时，添加的绝对路径C:\Program Files\Java\jdk1.8.0_51\bin （以前直接是%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;这样在命令窗口cmd中不能执行javac）其他还是按照以前的配置即可。这样可以在命令窗口调用javac了2.在命令窗口中输入e盘，然后选...
2019-01-24 18:10:37
1038
原创 在cmd中操作MySQL过程（MySQL软件已经安装好）
一：打开cmd命令窗口在开始菜单搜索cmd，并以管理员身份运行打开二：启动mysql输入net start mysql 显示成功启动三：登录输入mysql -hlocalhost -uroot -p （回车）我设置的密码是123456 （回车）四：显示数据库输入show databases; (一定要加“；”且是英文符号)会显示所有...
2018-11-28 16:49:23
444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人