- 博客(37)
- 收藏
- 关注
RSS订阅原创 npm ERR cb() never called npm ERR While resolving: sass-loader
npm ERR! cb() never called!1 报错信息npm ERR! cb() never called!npm ERR! This is an error with npm itself. Please report this error at:npm ERR! <https://github.com/npm/npm/issues>npm ERR! A complete log of this run can be found in:npm ERR!
2022-01-26 15:27:23
3795
原创 UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
4 UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO1 源代码<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati
2021-12-24 09:05:28
426
原创 idea远程操作hdfs Hadoop、Caused by: java.net.ConnectException: Connection refused: no further informati
3 idea远程操作hdfs hadoopidea远程操作hdfs Hadoop、报错Caused by: java.net.ConnectException: Connection refused: no further information1 源代码package com.github.td.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import or
2021-12-21 11:33:14
3379
原创 java.io.IOException: Failed to connect to DESKTOP-H
idea 远程提交spark作业 java.io.IOException: Failed to connect to DESKTOP-H1 报错日志Exception in thread "main" java.lang.reflect.UndeclaredThrowableException at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1713) at org.apache.s
2021-12-17 15:54:14
2872
1
原创 vscode 无法导入自定义包 无法import No module named
vscode 无法导入自定义包vscode 无法导入自定义包 无法import No module named：这是vscode的一个bug，只能自行手动解决问题描述：如图：解决方案：1、在python安装路径的Lib\site-packages文件夹下新建一个任意命名的 .pth文件，如pythonwork.pth2、在文件中加上python项目的目录，如：H:\python\test3、重启vscode，问题得到解决，如下图...
2021-05-19 12:42:30
5319
6
原创 Innodb中事务隔离级别和锁的关系
InnoDB中事务隔离级别和锁的关系事务的四大特征原子性A一致性C隔离性I持久性D并发事务带来的问题脏读。丢失修改不可重复读幻读事务隔离级别读未提交（Read uncommitted）RU读提交（Read committed）RC可重复读（Repeatable read）RR可串行化（Serializable）两段锁加锁阶段：在该阶段可以进行加锁操作...
2020-03-14 10:50:29
201
转载 Python数据分析入门案例
转载自 https://blog.csdn.net/lijinlon/article/details/81517699Data analysis by Python 入门1. 重复数据处理在DataFrame中主要运用duplicated方法和drop_duplicates方法：duplicated方法返回的是一个布尔型的Series，用来只是各行是否重复，如果重复则为True，否则为F...
2019-08-13 17:04:54
1776
原创 windows下安装spark
1、安装jdk2、安装scala3、下载sparkspark下载地址3.1安装spark将下载的文件解压到一个目录，注意目录不能有空格，比如说不能解压到C:\Program Files作者解压到了这里，将spark的bin路径添加到path中cmd输入spark-shell，成功安装啦，有个报错是因为还没安装Hadoop，4、安装hadoop由于spark版...
2019-04-20 14:14:58
197
原创 Map遍历
Map的遍历方式通常分为4种，但是可能大家看完4种后也不清楚自己到底该用那种遍历方式，下面就根据遍历方式的特点分类说明。1.单纯的获得key或者value，推荐使用map.keySet()，map.values()方式遍历。 Map&amp;lt;String, Integer&amp;gt; map = new HashMap(); map.put(&quot;a&quot;,1); ...
2018-10-05 08:40:46
128
原创 aclocal-1.14: 未找到命令
WARNING: ‘aclocal-1.14’ is missing on your system.一条命令解决autoreconf -ivf
2018-09-25 15:31:40
5778
原创 利用Jenkins实现项目自动化部署
1.安装Jenkins，参考上一篇博客：安装Jenkins安装Java安装tomcat安装maven2.全局工具配置,填写好后点击save3.安装git plugin插件
2018-09-24 14:42:56
181
原创 centos安装maven
1.下载maven，apache-maven-3.3.9-bin//重命名为mavenmv apache-maven-3.3.9-bin maven2.配置环境变量vi /etc/profile//在末尾添加MVN_HOME=/usr/mavenexport PATH=${MVN_HOME}/bin:${PATH}重载profile文件source /etc/profile...
2018-09-23 21:22:43
232
原创 centos安装Jenkins
centos安装Jenkins1.下载Jenkins的war包，放到tomcat的webapps里面，安装tomcat请参考：链接2.直接访问ip:8080/jenkins,如图所示，则成功啦3.查看密码cat /root/.jenkins/secrets/initialAdminPassword4.选择安装常用插件5.注册用户6.到此为止Jenkins就安装完毕了，使用Je...
2018-09-23 19:21:53
138
原创 Centos 安装tomcat
1.下载tomcat：apache-tomcat-9.0.12.tar.gz，额下载地址不用说了把。。2.新建java文件夹mkdir /usr/tomcat9 3.将下载的包传到此文件夹中，然后解压cd /usr/tomcattar -xzvf apache-tomcat-9.0.12.tar.gz4.解压后得到此文件：，重命名为tomcat9mv apache-...
2018-09-23 16:43:46
110
原创 Centos 安装java
1.下载jdk：jdk-8u181-linux-x64.tar.gz，下载地址不用我说了把。。2.新建java文件夹mkdir /usr/java3.将下载的包传到此文件夹中，然后解压cd /usr/javatar -xzvf jdk-8u181-linux-x64.tar.gz4.解压后得到此文件：jdk1.8.0_181，重命名为jdk1.8mv jdk1.8....
2018-09-23 16:14:12
119
原创 centos赋予访问权限
chmod u+x *.sh （代表授权现在所处的文件目录下的所有以：.sh的文件启动tomcat：/usr/local/tomcat9/bin/shutdown.sh关闭tomcat：/usr/tomcat/tomcat9/bin/shutdown.sh关闭开启centos防火墙https://blog.csdn.net/WI_232995/article/details/77389...
2018-09-22 17:42:55
1191
原创 如何设置数据库中字段的长度
1.sql中的长度=字节，也即是长度设置为10，则该字段长度为10个字节2.存储一个字母需要一个字节，存储一个汉字需要两个字节3.datetime占用8个字节，date占用3个字节4.一个字节等于8个bit，一个bit可以标识0和1，所有说一个字节可以表示的数据范围为：127到-128（计算机用二进制补码表示5.int的大小为4个字节，所能表示的数范围为：2^32-1:-2^32...
2018-09-21 12:22:45
14816
1
翻译 Hadoop 之 分布式缓存的原理和方法——DistributedCache
1.什么时Hadoop的分布式缓存答：在执行MapReduce时，可能Mapper之间需要共享一些信息，如果信息量不大，可以将其从HDFS中加载到内存中，这就是Hadoop分布式缓存机制。2.如何使用缓存机制答：在main方法中加载共享文件的HDFS路径，路径可以是目录也可以是文件。可以在路径末尾阶段追加 '#' +别名，在map阶段可以使用该别名。 这时执行第一步的代码...
2018-08-29 23:32:56
545
翻译 Hadoop 之 深入探索MapReduce
1.MapReduce基础概念答：MapReduce作业时一种大规模数据的并行计算的便程模型。我们可以将HDFS中存储的海量数据，通过MapReduce作业进行计算，得到目标数据。2.MapReduce的四个阶段答：Split阶段、Map阶段（需要编码）、Shuffle阶段、Reduce阶段（需要编码），下面以WordCount为例。3.从分片到Map答：我们知道输入的文件...
2018-08-28 13:29:33
144
翻译 Hadoop 之 Hadoop2.0
1.Hadoop2.0与1.0答：Hadoop2.0之后的版本移除了原有的JobTracker和TaskTracker，改由Yarn平台的ResourceManager负责集群中所有资源的管理和分配，NodeManager管理集群中单个计算节点。2.Yarn平台答：Yarm的设计减少了JobTracker的资源消耗，减少了Hadoop1.0中发生单点故障的风险。我们还可以在Yarm平台...
2018-08-28 13:09:36
167
翻译 Hadoop 之 MapReduce原理
1.什么是MapReduce答：简而言之，就是将一个大任务分成多个小的子任务（Map），并行执行后，合并结果（Reduce）。下面举一个纸牌得栗子 2.MapReduce的运行流程 3.JobTracker角色答：1.作业调度。2.分配任务、监控任务执行进度。3.监控TaskTracker的状态。4.TaskTracker角色答：1.执行任务。2.回报任务状态。...
2018-08-28 00:08:46
165
翻译 Hadoop 之 HDFS的使用
1.列出hadoop下面的目录，hadoop fs -ls / 进入userhadoop fs ls /user2.再usr/root下新建input目录hadoop -mkdir input3.把本地文件放到上述目录下hadoop fs -put hadoop-simple-file.sh input/4.打印出来看一下hadoop fs -ls /...
2018-08-27 23:36:23
134
翻译 Hadoop 之 HDFS基本概念
1.HDFS的基本概念答：块（Block）、NameNode、DataNode。HDFS的文件被分成块进行存储，默认块的大小为64M，所以说块是文件存储和处理的逻辑单元。NameNode是管理节点，存储文件元数据，包括文件与数据块的映射、数据块与数据节点的映射表。DataNode是HDFS的工作节点，用来存放数据块的。2.HDFS体系结构3.HDFS中数据管理和容错4....
2018-08-27 23:22:22
1679
翻译 Hadoop入门 之 Hadoop的安装
1.安装Hadoop的三大步骤答：1.Linux环境，2.JDK环境，3.配置Hadoop。2.安装Linux答：利用阿里云，腾讯云等公有云。选择Ubuntu进行安装，然后利用小putty进行操作。3.安装JDK，设置环境变量答：命令：ls,javac看是否安装有jdk，apk-get install openjdk-7-jdk进行安装。安装完毕之后设置环境变量，vim /et...
2018-08-27 00:38:03
206
翻译 Hadoop入门 之 Hadoop常识
1.Hadoop是什么？答：Hadoop是开源的分布式存储和分布式计算平台。2.Hadoop的组成是什么？答：Hadoop由HDFS和MapReduce这两个核心部分组成。 HDFS（Hadoop Distribute File System）即Hadoop分布式文件系统，用于存储海量的数据。 MapReduce即并行处理框架，实现任务分离和调度。3....
2018-08-26 23:45:49
132
原创 HTTP协议的运行流程
1.HTTP协议的流程是什么样的呢？（1）http客户端发起请求，创建端口（2）http服务器在端口监听客户端请求（3）http服务器向客户端返回状态和内容更详细的请参考大神：https://www.imooc.com/video/6712...
2018-08-13 22:42:43
1553
原创 MongoDB安装使用
1.安装服务mongod --config "E:\MongoDB\mongo.conf" --install --serviceName "MongoDB"报错的话，以管理员身份运行cmd2.启动服务net start MongoDB
2018-08-13 15:34:01
83
原创 Java的垃圾回收机制
我喜欢用问题去解决问题。1.什么是内存泄漏？答：如果一些分配出去的内存得不到及时的回收，那么当内存使用接近100%就会导致系统运行速度下降，甚至导致程序瘫痪，这种现象我们把它叫做内存泄漏。2.Java程序的内存分配和回收是由谁完成的？答：立即退，JRE，JRE会自动回收那些不再使用的内存（自动在后台完成），这种机制被称为垃圾回收（Garbage Collection，GC）。GC是...
2018-08-12 16:19:39
120
原创 大白话讲解 Java程序的运行机制和JVM
据我们所知，Java程序是跨平台的。那么Java是如何实现跨平台的呢？看完下面几句话就会恍然大悟！1.为什么Java语言既是编译型语言又是解释型语言呢？答：运行Java程序，首先需要经过编译，编译后会生成一种与平台无关的字节码（也就是*.java文件），而这种字节码文件是无法运行的。然后，还需要java解释器来解释执行。2.Java是如何实现跨平台的呢？答：关键就在上一个问题中的J......
2018-08-12 15:04:01
576
1
原创 Maven简介
Maven是用来干啥的呢？Maven是一个项目依赖管理工具，它的作用就是对我们的项目进行依赖管理。它是怎么实现对我们的依赖进行管理的呢？答案就是通过配置pom.xml文件。pom.xml长什么样呢？Maven的工作原理是什么呢？答案就是通过<groudpId><artifactId><version>去Maven仓库中查找到相应的jar包，并引入到我们的项目中。...
2018-07-14 12:00:09
107
原创 Spring入门教程
Spring新手入门教程，配套下面这两个大神的课程就可以了。一个是Spring视频教程。一个是Spring博客教程。https://www.imooc.com/learn/196http://jinnianshilongnian.iteye.com/blog/1482071一开始我直接看视频，第一次看有点蒙，看不下去。然后看了博客，再去看视频，恍然大悟！...
2018-07-13 15:07:23
3426
1
原创 实例化Bean的几种方法
1、使用构造器实例化Bean。 当没有指定实例化方法时，Spring IoC容器能使用默认空构造器。构造器实例化包括默认空构造器和有参数构造器两种方式创建Bean。2、使用构造器实例化Bean。 factory-method属性来指定实例化Bean的方法。3、使用实例工厂方法实例化Bean。 使用factory-bean属性来指定工厂Bean，factory-method...
2018-07-12 13:58:02
340
原创 卷积层后连接LSTM层的报错（InvalidArgumentError (see above for traceback): Incompatible shapes: [128] vs. [384]）
三通道编译通过但无法训练报错InvalidArgumentError (see above for traceback): Incompatible shapes: [128] vs. [384]。其中384= 128×3报错原因 本文为三通道2DCNN，在model的中间通过代码： outputs = keras.layers.concatenate([...
2018-05-17 10:19:08
28661
15
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人