- 博客(36)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 怎么开发高可靠、能处理多种复杂问题、处理各种异常情况的爬虫程序
开发高可靠、能处理多种复杂问题、处理各种异常情况的爬虫程序是一个综合性的任务，涉及多个方面的技术和策略。通过遵循上述步骤和最佳实践，你可以开发出高可靠、能处理多种复杂问题、处理各种异常情况的爬虫程序。同时，不断学习和探索新的技术和方法也是提升爬虫性能和可靠性的关键。
2024-03-31 19:54:34
259
原创 大数据专家3个月自学计划
本人有6年Java开发经验，目前在岗中，之前通过视频教学自学过Hadoop生态技术、flume、kafka、Redis、hive、spark、flink、sqoop、azkaban、ozie、habse、presto、kylin等大数据相关技术，希望利用3个月时间复习，成为大数据专家。
2024-03-19 21:16:59
662
原创 深度学习专家学习计划
通过本学习计划的执行，您将能够系统地掌握深度学习的基础和进阶知识，提升自己在该领域的技能和能力。同时，通过项目实践和论文研读，您将能够更深入地了解领域内的最新动态和技术趋势，为未来的研究和应用打下坚实的基础。祝您学习顺利，早日成为深度学习专家！作为一名有6年工作经验的Java开发人员，您已具备基本的编程能力和数据处理经验。现计划转岗至深度学习领域，成为深度学习专家。本计划将结合您的工作背景和现有知识，为您制定详细且精确的学习计划，帮助您逐步达到专家水平。
2024-03-14 21:31:37
566
原创 实际Web系统包含的组件和执行流程全部仔仔细细一个不落的描述介绍
这个流程涵盖了Web系统处理请求的主要组件和步骤，但实际的系统可能更加复杂，还可能涉及其他组件和技术，如内容分发网络（CDN）、API网关、消息队列、分布式追踪等。- Web应用程序（如Servlet）通过ServletRequest对象获取请求数据，如请求头、请求参数、请求体等。- Web服务器（如Nginx、Apache）接收请求，根据请求的URL找到对应的Web应用程序或资源。- 容器或服务器根据请求的URL找到对应的Web应用程序（如基于Servlet的Java Web应用）。
2024-03-08 17:18:10
345
原创 从别人的开源项目学习并吸收经验，然后逐步搭建自己的Java项目是一个很好的学习方法
从别人的开源项目学习并吸收经验，然后逐步搭建自己的Java项目是一个很好的学习方法。通过不断地学习和实践，你可以从别人的开源项目中吸收经验，逐步搭建起自己的大型高质量Java项目。重要的是，要保持对技术的热情和对学习的持续投入，这样才能在项目的道路上不断前进。
2024-02-29 00:47:54
529
原创 python中的数组和list，与Java中的异同
Python中的数组（通过array模块提供的）和列表（list）与Java中的数组和ArrayList或其他集合类在功能和用法上有一些异同。下面我将分别对比它们之间的主要差异和相似之处。
2024-02-12 01:15:16
370
原创 python中的数组和list的异同
在Python中，数组和列表（list）是两个非常相似但又不完全一样的数据结构。实际上，Python本身并没有原生的数组类型，而列表（list）是Python提供的一种非常灵活且常用的序列类型。
2024-02-12 01:13:25
346
原创 常见的软件工程师认证
此外，还有一些国际认证，如微软认证（如MCTS、MCITP、MCPD、MCAP、MCDST、MCSA、MCSE、MCDBA等）、Oracle认证、IBM认证等，这些认证在行业内也有很高的认可度。他们需要掌握项目监督和控制等方面的知识，确保项目按照预定的计划和要求进行。：电子商务设计师是负责设计和开发电子商务网站和应用程序的专业人员。：软件设计师是负责软件系统设计和开发的专业人员。他们需要具备广泛的技术知识和丰富的经验，以解决各种系统和软件开发中的问题。他们需要掌握网页设计、图形设计和交互设计等方面的知识。
2023-12-23 15:02:06
827
原创 归一化和标准化的联系与区别及建议
归一化：是指将数据映射到0到1的范围内，使得特征数据中的所有数据都能够采用相同的标准进行度量。标准化：是指通过对数据进行变换，使得数据满足均值为0，标准差为1的正态分布。
2023-09-30 00:11:46
676
原创 后台已设置允许跨域，但前台依然报跨域问题
后台已经设置允许跨域，但是前台依然报错。public class CorsFilter implements Filter{ @Override public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException, ServletException { HttpServletRequest request = (
2021-12-21 15:43:28
5493
原创 javax.naming.NameNotFoundException: Name [XXX] is not bound in this Context
javax.naming.NameNotFoundException: Name [XXX] is not bound in this Context搞了一天，手贱没注意到，把xxx注入到一个没有配置注解的类当中，但是这个类刚好被filter继承了，导致启动报过滤器filter的异常，而自己也一直以为是filter出问题了，因为当把web.xml中的filter注释之后，程序就能正常启动了。以后遇到NameNotFoundException的问题，就想到可能是在没有注解的类中使用了注解注入...
2021-12-21 11:07:34
1337
原创 eclispe断点问题
今天遇到个奇怪的现象，有的类能断点，有的不能断点，不能断点的类就是之前删除了某一行，后面重启的时候弹出“Eclipse Unable to install breakpoint in”的提示，点击了“不在提示”，结果这个类下的所有断点就失效了，调用该类下的方法，断点直接跳过不拦截了。试了网上很多方法无用！我的处理方式是：不用改任何eclipse的设置，直接关闭应用，然后project->clean，启动，搞定！如果还不行，那就在clean前先把build automatically前面的.
2021-11-10 16:25:26
413
原创 Hadoop复习——Yarn
UML：统一建模语言，又称标准建模语言，是对软件密集系统进行可视化建模的一种语言。UML：3种主要模型，5类主要图形。3种主要模型：功能模型：从用户的角度展示系统的功能，包括用例图。对象模型：采用对象，属性，操作，关联等概念展示系统的结构和基础，包括类图、对象图、包图。动态模型：展现系统的内内部行为。包括序列图、活动图、状态图。
2021-10-10 00:47:12
122
原创 Hadoop复习——mapreduce
从序列化开始记录hadoop序列化 什么是序列化 序列化是把内存中的对象，转换成字节序列，用来存储磁盘持久化或网络传输。 反序列化是将本地磁盘的持久化数据或者接收到的网络中的字节码数据转换成内容中的对象。为什么要学序列化因为内存中的对象不能直接存储到磁盘或进行网络传输，只能将其序列化成字节码之后，才可以存储到磁盘或者进行网络传输。为什么不用Java的序列化Java序列化是一个重量级序列化框架（serializable），一个...
2021-10-08 21:27:45
156
原创 事务失效原因之一
mvc扫描包的注解只扫controller层，其他层的注解放在spring配置文件中扫，这样才能扫到事务的注解！！！！！！！！！！
2021-07-14 18:10:26
101
1
原创 Failed to get driver instance和 No suitable driver
java.lang.RuntimeException: Failed to get driver instance for jdbcUrl=jdbc:mysql://Caused by: java.sql.SQLException: No suitable driver网上说了很多可能是url没写对，驱动没添加等等一系列解决方案，发现都解决不了我问题。我最终的解决方案：在tomcat/lib目录下添加mysql连接器的jar如下图：...
2021-06-01 15:53:56
2960
原创 Hive常用函数
常用日期函数unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp(“2020-10-28”,‘yyyy-MM-dd’);from_unixtime：将时间戳转为日期格式select from_unixtime(1603843200);current_date：当前日期select current_date;current_timestamp：当前的日期加时间select current_time
2021-05-07 16:47:35
86
原创 DB2 SQL Error: SQLCODE=-119, SQLSTATE=42803,…
DB2 SQL Error: SQLCODE=-119, SQLSTATE=42803,…db2报此错误代码，问题是select的字段和group by的字段不一样。改正方法：将select部分的字段和group by字段保持一样
2021-03-27 16:33:10
11604
原创 解决A JSONArray text must start with ‘[‘ at character 1 of
解决A JSONArray text must start with ‘[’ at character 1 of今天遇到json数组转换问题，找个好了，网上大多都在说字符串格式问题，仔细回顾一下，确实是格式问题。问题描述：从本地读取文件，utf-8编码转换字符读取，调试能看到正确的数据。字符串也能看到以"["开头，但json转换的时候时候却一直报上述错误。后来在一篇连话都没写通顺的文章中看到可能是编码utf-8-bom的问题。于是就调试打印了读取到的字符串的前几个字符的int值和相应的字符，发现首字符不
2020-11-11 17:12:51
1331
1
原创 hadoop集群启动的时候，从机的DataNode没有启动的原因及解决
原因：由于过多在namenode机器上执行hdfs namenode -format命令，导致DataNode机器上data文件夹下的数据与namenode机器上name文件夹下的数据没有匹配上，这样就无法启动DataNode上的DataNode进程了。解决：删除data文件夹下的所有数据，data文件夹的位置可以在hdfs-site.xml配置文件中找到，下面是我的data位置。执行删除命...
2019-10-26 20:26:01
2981
原创 hadoop集群搭建--完全分布式搭建
hadoop完全分布式集群搭建前期准备安装配置hadoop配置环境变量前期准备hadoop集群搭建–虚拟机centos7minimal版网络配置【文章链接】hadoop集群搭建–hadoop-2.8.5编译【文章链接】hadoop集群搭建–虚拟机克隆、ssh免密登录【文章链接】安装配置hadoop在本地编译过的hadoop安装包【点击下载】。下载解压后，在target目录下找到ha...
2019-10-26 20:15:19
939
原创 -bash: start-dfs.sh: command not found
启动hdfs的时候报：-bash: start-dfs.sh: command not found主要原因是start-dfs.sh的命令在hadoop安装目录的sbin目录下，如果在etc/profile里面只配置了HADOOP_HOME/bin的话，那在启动的时候就会报没有找到命令的错误了，所以，在HADOOP_HOME/bin后面再加上:HADOOP_HOME/sbin就可以了。...
2019-10-26 19:16:54
19219
7
原创 Ajax中文乱码问题
Ajax中文乱码问题注意：我只写我在工作中实际遇到的问题及所采用的解决办法。不对该系列问题进行全面解答起初出现乱码是因为把变量值写在url上了，导致后台接收的中文值出现乱码。我怀疑和编码格式不一致有关系，工作原因，没有去深究。如果有全面详细的解释，非常感谢您能不吝分享。后来我把变量值放在data里面，就是下面的代码，后台接收就没问题了，正确实现中文值。$.ajax({ type:'P...
2019-10-09 11:43:54
180
原创 hadoop集群搭建--虚拟机克隆、ssh免密登录
前期准备之虚拟克隆、shh免密登入虚拟机克隆关闭防火墙修改网卡名称安装jdk：克隆克隆虚拟机客户端网络配置问题-解决办法虚拟机克隆在克隆之前，即将被克隆的虚拟机已经配置好网络。如果还没有，可以参考鄙人博文，链接：minimal版的网络配置关闭防火墙我测试了下，如果克隆前，被克隆的虚拟机关闭并阻止开机启动防火墙，那么克隆后的新虚拟机的防火墙就不需要再次关闭了，默认就是关闭了。查看firew...
2019-09-28 18:07:15
1441
原创 hadoop集群搭建--hadoop-2.8.5编译
hadoop集群搭建--hadoop-2.8.5编译编译基本过程软件版本安装软件包：jdk安装：maven安装：ant安装：安装protobuf：解压hadoop源码文件：编译打包hadoop编译基本过程软件版本jdk：jdk-8u221-linux-x64.tar.gzmaven：apache-maven-3.6.1-bin.tar.gzant:apache-ant-1.9.14-b...
2019-09-27 09:33:41
506
原创 hadoop集群搭建--虚拟机centos7minimal版网络配置
centos7minimal版本网络配置网络配置配置过程 遇到的问题网络配置配置过程 在配置网络的时候：先修改主机名：sudo /etc/hostname。配置完后，cat，如下图所示：再配置：/etc/sysconfig/network，如下：再配置： /etc/sysconfig/network-scripts/ifcfg-eno16777736,如下：注意：其实配置到...
2019-09-26 16:11:48
404
转载 mysql建立索引的几大原则
（转）仅供自己学习，特此记录参考：https://www.cnblogs.com/chenhaoyu/p/8761305.html1．选择唯一性索引唯一性索引的值是唯一的，可以更快速的通过该索引来确定某条记录。例如，学生表中学号是具有唯一性的字段。为该字段建立唯一性索引可以很快的确定某个学生的信息。如果使用姓名的话，可能存在同名现象，从而降低查询速度。2．为经常需要排序、分组和联合...
2019-04-15 09:55:53
141
原创 org.apache.catalina.connector.ClientAbortException: java.net.SocketException
临时想起Mark一下，对于之前的完整问题已经找不到了，印象中是：org.apache.catalina.connector.ClientAbortException: java.net.SocketException：什么 reset。在测试的时候，客户反应接口查询失败，我的第一反应是第三方接口的程序有问题了，之前也遇到过，重启一下tomcat就没事了，但是这次重启之后测试环境还是不行，这时有...
2019-03-19 17:52:41
4492
原创 mysql忘记密码
如果用解压版装mysql的时候没有密码或者使用mysql的过程装忘记之前的mysql密码，都可以使用下面的方式登入mysql，并重新创建新的密码。以下是在win10mysql5.7.20亲测过的，正确有效：首先在my.ini配置文中加上这段配置：skip-grant-tables，保存并重新启动mysql，输入命令：mysql -u root -p，然后就可以不需要密码就能直接回车就登入...
2019-03-10 23:43:53
113
原创 对Spring框架的学习与理解
Spring框架本身四大原则：（1）使用POJO进行轻量级和最小侵入式开发； （2）通过依赖注入和基于接口变成实现松耦合； （3）通过AOP和默认习惯进行声明式编程； （4）使用AOP和模板（template）减少模式化代码。Spring所有功能的设计与实现都是基于此四大原则的。依赖注入：我们常说的控制反转（Inversion of Control-IoC）和依赖注入（depe...
2019-03-01 16:37:21
126
原创 java.sql.SQLException: JZ00L: 登录失败。检查与此异常现象有关的…
异常：java.sql.SQLException: JZ00L: 登录失败。检查与此异常现象有关的…描述：电脑重启之后，没更改任何代码，就报这种错误解决：重启IDE，是在不行重启电脑，我就是重启电脑解决的。...
2019-02-15 08:41:52
2795
原创 mysql where后面的in查询默认排序问题
mysql在select的时候，如果where后面是in结构，查询出来的结果不会按in里面的数据顺序进行返回，而是有默认的排序。通常用到in的时候，是在update做批量更新的时候，这种情况不需要查询in结构里面的数据，所以不会出现数据紊乱的情况。但是，如果需要获取多条数据，并且这多条数据，在数据库中不是自然顺序的时候，select出来的数据会对查询出来的数据进行默认的排序，经自身的测试，应该是按...
2018-12-14 10:35:55
3870
原创 页面加载不出来的原因
今天遇到web页面一直迟迟不能加载成功，记录下原因。在后台不报错的前提下，web页面迟迟不能加载成功，可能的原因有：1、可能是页面的代码报错；2、可能是后台的sql有问题。当查询的数据量过大时，而当前的sql不够优化，查询起来很费时，甚至出现无法获取最终结果的可能。...
2018-09-17 17:07:31
22011
原创 Java反射
反射机制是什么反射机制就是在运行状态中，对于任意一个类，都能够知道这个类的所有属性、构造方法、成员方法；对于任意一个类，都能够调用它的任意一个属性、构造方法和成员方法。这种动态获取信息以及动态调用对象的属性、方法的功能就叫做Java的反射机制。用一句话总结就是：我们可以通过反射实现在运行时，知道并调用任意一个类的属性和方法（构造方法和成员方法）。反射机制能做什么有以下功能：在运
2017-08-03 11:53:03
166
原创 Socket、TCP、UDP、HTTP的区别
IP 协议应用在网络层，TCP协议应用在传输层，主要解决数据如何在网络中传输；HTTP协议应用在应用层，主要解决如何包装数据，主要三者从本质上讲是没什么可比性的。socket是对TCP/IP协议的封装和应用，socket本身并不是协议，而是一个调用接口，通过socket，我们才能使用TCP/IP协议。实际上，socket跟TCP/IP协议没有必然的联系。socket编程接口在设计的时候，就希望
2017-07-28 15:59:05
229
本地编译生成的hadoop-2.8.5安装包.txt
2019-09-27
编译hadoop-2.8.5必备的软件包.txt
2019-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人