- 博客(269)
- 收藏
- 关注
RSS订阅原创 vue3+element-plus(el-carousel)实现图片轮播和点击预览功能
vue3+element-plus(el-carousel)实现图片轮播和点击预览功能
2024-04-02 14:48:01
431
原创 Windows 10中Visual Studio Code（VSCode）无法自动打开终端的解决办法
【代码】Windows 10中Visual Studio Code（VSCode）无法自动打开终端的解决办法。
2024-02-28 09:48:48
585
原创 如何实现不同 Vue 项目的 npm 和 Node.js 环境进行隔离
【代码】如何实现不同 Vue 项目的 npm 和 Node.js 环境进行隔离。
2024-02-24 18:09:22
777
原创 在Django中使用Q对象和条件运算符来构建动态查询
在上面的代码中，首先创建了一个空的Q对象，然后根据cost_min和cost_max的值逐步构建查询条件。如果cost_min不为None，则添加一个大于等于cost_min的条件；如果cost_max不为None，则添加一个小于等于cost_max的条件。最后，使用filter()方法执行查询，并将查询结果存储在results变量中。这样，当cost_min或cost_max为None时，查询就不会对单价数据做限制。
2023-11-30 10:53:56
316
原创 centos7中实现多个python版本共存（python2.7、python3.6、python3.9等）
Centos7中实现多个python版本共存（python2、python3.6、python3.9等）
2023-11-03 11:35:35
679
原创 使用idea创建的springboot项目报错：“java: 错误: 无效的源发行版：17”
将target属性的值更改为您希望使用的Java版本。例如，如果您希望使用Java 16，则将其更改为"1.16"。方法二：更改项目的源和目标发行版本（推荐）您的Idea版本不支持Java 17。方法一：升级idea（pass）保存文件并重新编译项目。
2023-10-10 21:31:01
791
原创 Centos8系统中安装docker-compose报错（已解决）
在CentOS8中安装“加密”程序包时出现问题。当包所需的某些依赖项丢失或未正确安装时，通常会出现此错误。通过运行以下命令安装构建Python包所需的依赖项。
2023-09-15 16:38:51
433
原创 win10系统中，创建python2和python3共存的虚拟环境
你可以从Anaconda官方网站（https://www.anaconda.com/products/individual）下载适合你系统的安装包，并按照指示进行安装。打开Anaconda Prompt（在开始菜单中搜索Anaconda Prompt），这是一个特殊的命令行界面，用于管理Anaconda环境。这样就可以在Windows 10系统中创建和管理Python 2和Python 3共存的虚拟环境了。现在，你将进入Python 2的虚拟环境。现在，你将进入Python 3的虚拟环境。
2023-08-14 11:22:20
203
原创 2023Java面试题(附答案)
Lock和Condition是Java提供的一种较为灵活和高级的同步机制，Lock是替代synchronized关键字的一种机制，提供比synchronized更高级的功能。流是Java中一个用于处理集合、数组等数据源的API，它可以进行过滤、映射、计算、归约等操作，可以有效提高代码的复用性和可读性。CompletableFuture是Java 8中新增的一个异步编程工具，它可以实现异步结果的处理、线程池的管理、任务之间的依赖关系等功能。读写锁的使用可以提高程序的并发性能，适用于读取频繁、写入较少的场景。
2023-05-09 21:06:04
1171
1
原创 使用pandas.merge合并dataframe，并指定多个关联条件
【代码】使用pandas.merge合并dataframe，并指定多个关联条件。
2022-10-12 16:07:51
2122
原创 SQL Server报241错误
1.报错内容：(241, b'Conversion failed when converting date and/or time from character string.DB-Lib error message 20018, severity 16:\nGeneral SQL Server error: Check messages from the SQL Server\n')2.报错原因：时间字段的类型错误或时间字段为None，不能直接插入比如：1.正确的类型<class ‘da
2022-03-14 14:41:05
3281
原创 django项目中导入APIView报错【已解决】
错误描述：from rest_framework.views import APIViewImportError: cannot import name 'APIView'问题原因：安装了错误的 rest-framework，例如下面这样~解决办法：卸载错误的 rest-frameworkpip uninstall rest-framework安装 djangorestframeworkpip install djangorestframework完毕！...
2022-02-15 14:19:56
1657
1
原创 nifi 内存溢出解决方案
问题描述： 在使用nifi的SplitJson处理器进行数据处理时，发生了jvm内存溢出。问题原因： nifi默认的jvm内存太小了，调大一些就好了。解决办法：修改jvm内存vim /home/.../nifi-1.9.2/conf/bootstrap.conf内容如下：# JVM memory settingsjava.arg.2=-Xms16gjava.arg.3=-Xmx16g清空缓存数据rm -rf $NIFI_HOME/*repository重启nifi$N
2022-02-12 16:36:47
1858
3
原创 利用kibana的Visualize工具生成可视化图形（解决index索引找不到的问题）
**问题:**有朋友问我，他想在kibana中使用Visualize工具生成可视化图形，但是却找不到自己创建的ES索引文件。只有官方默认的测试文件，就像下面图片的这个样子。原因： 我们没有将自己的索引加入到 Index patterns 中，所以在Visualize工具中才找不到。解决办法： 操作步骤如下图所示进入kibana的首页 http://192.168.xx.xx:5656/完毕！PS:利用Visualize工具生成其它图形，可参考官方文档...
2021-11-24 10:24:16
2183
原创 A0-00.大数据集群规模预估
适用于中小型企业，仅供参考！！！一、磁盘容量预估用户数基本固定总用户数(个)：A每个用户每天产生的数据条数(条)：B每条数据的大小(KB)：C日均数据总量(TB)：D = A·B·C/1024/1024/1024数据保留时间(天)：E副本数(个)：F预留大小(百分比)：G数仓分层(扩容倍数)：H历史数据量(TB)：I压缩（snappy）：20%计算公式所需磁盘总量(TB) = D·E·F(1+G)H+I压缩后：D·E·F(1+G)H+I*20%举例：
2021-09-27 13:00:49
802
原创 将不同的dataframe数据写入同一个excel的不同sheet中
需求：如标题解决办法：import pandas as pdimport numpy as np# 构造数据df1 = pd.DataFrame(np.arange(6).reshape(2,3))df2 = pd.DataFrame(np.arange(12).reshape(3,4))df3 = pd.DataFrame(np.arange(24).reshape(3,8))df_list = [df1, df2, df3]# 输出结果file_path = r'./测试.xls
2021-09-23 16:23:10
450
原创 A0-04.HBase集群搭建
前提：在搭建HBase集群之前要确保zookeeper集群已正常运行，zookeeper搭建过程可参考白熊的A0-03.Zookeeper集群搭建一、搭建HBase集群MyNode01机器（icebear用户）下载HBase安装包http://archive.apache.org/dist/hbase/上传并解压HBase安装包cd /home/bgd/softtar -xzvf hbase-1.2.0-cdh5.14.2.tar.gz -C /home/bgd/install
2021-09-22 10:30:43
184
原创 A0-03.Zookeeper集群搭建
前提：在搭建Zookeeper集群前，确保Hadoop集群已搭建完毕！可参考白熊的A0-02.Hadoop集群搭建一、Zookeeper集群搭建MyNode01机器（icebear用户）下载安装包http://zookeeper.apache.org/releases.html#download上传并解压zookeeper安装包cd /home/bgd/softtar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /home/bgd/insta
2021-09-17 09:35:37
178
原创 A0-02.Hadoop集群搭建
前提：白熊搞了三台笔记本，并将其统一刷成了centos7.6的系统，下面是Hadoop集群的详细安装过程。一、安装ifconfig服务三台机器都要执行以下命令yum install -y net-tools.x86_64二、将三台服务器的IP地址改为静态IP更改配置文件，添加以下内容MyNode01# 笔记本刷linux系统，只需更该连接wifi的那个网络即可# 打开配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33#
2021-09-15 12:11:34
242
原创 A0-01.本地集群环境介绍
Hadoop集群搭建一、集群基础信息集群数量：3台MyNode01系统：Centos7.6内存：16GB硬盘：1TMyNode02系统：Centos7.6内存：12GB硬盘：500GBMyNode03系统：Centos7.6内存：12GB硬盘：500GB二、软件包版本系统CentOS-7-x86_64-DVD-1810.isoCDH框架版本：5.14.2Hadoophadoop-2
2021-09-14 11:12:22
4401
1
原创 sparkSQL中对每行数据的某几个字段做MD5加密
需求： 有一张很大的表，需要对每一行数据的某几列(a, b, c, d)特定字段值做MD5加密，并将加密字段重新命名，放在每行数据的后面。实现：具体代码val result: DataFrame = spark.sql(s"select a, b, c, d, md5(concat_ws('|', a, b, c, d)) as hash_code from temp_table")result.printSchema()result.show()函数解释 concat_ws(’|
2021-08-05 14:48:46
1424
原创 Django3中的iframe跨域请求之解决方案
问题描述： 假如你有A、B两个网站，你想在B网站中添加一个iframe，去引用A网站中的内容。解决方案：在settings.py中添加如下信息，A、B两个网站中都要添加ALLOWED_HOSTS = ["*"]X_FRAME_OPTIONS = 'ALLOWALL'F5强制刷新、查看，即可正常显示了~完毕！...
2021-08-04 16:21:14
348
原创 Spark程序 Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer
问题描述： 当本地运行spark程序时，报错：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer解决办法： 不要慌，用maven打包后放在测试服务器上试试~
2021-07-14 15:45:18
522
原创 centos8中使用python2.7安装mysql-python 报错 _mysql.c:44:10: 致命错误：my_config.h：没有那个文件或目录
问题描述： _mysql.c:44:10: 致命错误：my_config.h：没有那个文件或目录 #include "my_config.h" ^~~~~~~~~~~~~ 编译中断。 error: command 'gcc' failed with exit status 1问题分析： centos8、python2.7、mysql-python centos8中没有my_config.h文件解决办法：创建my_config.h文件vim /usr/include/my_config.h
2021-07-14 10:19:55
1441
1
原创 利用pandas对python字典中的多个键值进行排序，三行代码搞定
需求： 要对字典中的添加时间进行倒叙，时间一致的话，根据分数倒叙，分数一致的话根据年龄正序解决思路： 直接利用python中的字典进行排序太麻烦，可以利用pandas先将字典转成DataFrame，利用DataFrame进行排序，最后再将DataFrame转成字典。只需三行代码，下面的代码是猫哥对其进行了封装。上代码：from pandas import DataFrameimport datetimedef dict_order(dict_info, sort_field, sort_rul
2021-06-25 15:13:43
779
原创 开启spark程序报错: java.lang.ClassNotFoundException: org.apache.co
错误信息： Caused by: java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration错误原因： 缺少commons依赖解决办法： 在pom中添加如下信息<dependency> <groupId>commons-configuration</groupId> <artifactId>commons-configuration</
2021-05-30 19:08:22
953
原创 kafka集群开启后，只运行了2个，其中有一个没能正常运行，解决办法
问题描述： 在开启了Kafka集群后，发现有一个始终不能开启，单独启动也不行。原因分析： 查看日志，发现是broker.id不一致造成的。仔细一想，node01被我重新配置过，信息都是从node02上copy过来的，现在node02的id已经被使用了。解决办法： 在配置文件meta.properties上修改node01的broker.id，这个文件在你配置server.properties里面的log.dirs路径中。vim /bgd/install/kafka/kafka-logs/meta.pr
2021-05-29 11:15:58
2325
2
原创 从table1中查询time_a字段，将time_a字段加15天后，用新值new_date更新time_b时间字段
数据库： sql server需求： 从table1中查询time_a时间字段，将time_a时间字段加上15天后，用新值new_date更新time_b时间字段方法： UPDATE table1 SET time_b = tb2.new_date from (select projectId, time_a, DATEADD(day, 15, time_a) as new_date from table1 where time_b BETWEEN '1900-01-01' AND '1900-01-0
2021-05-28 10:33:01
179
原创 Hbase集群重启后，其中一个没起来，单独启动也不行
问题描述：Hbase集群重启后，突然其中一个没起来，单独启动也不行，三台机器的时间也同步，不存在时间上的问题。原因分析：很可能是没有正确关闭集群导致的。开集群的步骤和关集群的步骤刚好是相反的。解决办法：重启一遍集群，不是重启hbase集群，而是整个大数据集群。从开启hadoop开始、zookeep、hbase等，重新走一遍。...
2021-05-05 14:17:49
547
1
原创 mac中的idea复制当前行数据到下一行的快捷键
mac中的idea复制当前行数据到下一行的快捷键option + command + 方向下注：win和pycharm中才是 ctr/command + D
2021-05-04 15:52:43
3143
原创 docker搭建三节点的hadoop集群（包含：hdfs、yarn、zookeeper、mapreduce程序测试）
好处： 利用docker搭建集群，对于我这种身无分文的人来说，简直是一种福利。废话不多说，开干～前置环境： 安装了docker的centos7服务器一台。目的： 利用docker配置一个三节点的hadoop集群，一主二从。具体操作如下：宿主机端拉取centos8镜像（发布文章时，默认就是是centos8）docker pull centos宿主机端创建网段docker network create --subnet=172.200.0.0/16 hadoopNet在宿主机上
2020-11-30 23:16:25
1020
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人