3+2=小5？-CSDN博客

原创 VMware环境配置

vmware环境配置：JDK、Hadoop、hive、sredis、spark、Scala等

2022-11-25 22:56:42 2665 1

原创 hive初始化报错Host ‘Master001‘ is not allowed to connect to this MySQL server

Underlying cause: java.sql.SQLException : null, message from server: "Host 'Master001' is not allowed to connect to this MySQL server"SQL Error code: 1130

2022-11-23 13:22:21 946

原创 Java学习02

Java学习第二章数据类型与运算符课后习题1、商场为员工提供了基本工资，物价津贴及房租津贴。其中，物价津贴为基本工资的40%，房屋津贴为基本工资的25%。要求：从控制台输入基本工资，并计算输出实领工资，输出结果如图所示

2022-03-05 12:31:38 551

流程控制---选择结构与循环结构课后习题1、输入一批整数，输出其中的最大值和最小值，输入数字0时结束循环，输出结果如图所示。2、用键盘输入一位整数，当输入1~7时，显示对应的英文星期名称的缩写。1表示MON，2表示TUE，3表示WED，4表示THU，5表示FRI，6表示SAT，7表示SUN；输入其他数字时提示用户重新输入，输入数字0时程序结束，输出结果。结果如图所示3、假如你准备去海南旅游，现在要订购机票。机票的价格受季节旺季、淡季影响，而且头等舱和经济舱价格也不同。假设机票原价为5000元，4~10月为旺

2022-03-05 12:31:21 585

原创 Java学习01

Java学习

2022-03-04 22:32:08 1000

原创 IntelliJ IDEA/JDK安装

IntelliJ IDEA及JDK下载安装

2022-03-04 21:39:46 619

原创 Win10相机报错解决办法

一：问题描述：Win10相机打开报错：我们找不到你的相机错误代码0xA00f4244二、解决办法：我是用第三个解决相机无法使用的，可以优先试试哟。办法之一：官网解决方案：Win10找不到相机，错误代码0xA00F4244(0xC00DABE0) 办法之二：1、Win+R呼出运行，输入regedit，按下回车打开注册表；2、在注册表中依次展开：HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows Media Foundation\Platform，

2021-02-17 17:00:12 3446 4

原创 flume日志监听

新建文件data.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/module/flume-1.6.0/dirfilea1.sources.r1.basenameHeader = truea1.sources.r1.basenameHeaderKey = file

2021-01-14 10:49:06 195

原创 VMware之CentOS 7系统重置root密码

首先，启动CentOS 7系统，在选择进入系统的界面按 “e” 进入编辑页面。往下滑，找到 “linux16” 开头的那一段，在最后添加 “ init=/bin/sh”按 “ctrl+X” 组合键进入单用户模式输入“mount -o remount,rw /”，然后再输入 “passwd”，回车输入两次要修改的密码输入 “touch /.autorelabel”，回车输入 “exec /sbin/init”，回车重启虚拟机...

2021-01-14 10:48:27 233

转载 VScode报错error: ‘::main‘ must return ‘int‘ void main()

在运行指针时终端出现error: ‘::main’ must return ‘int’ void main()错误源代码如下：#include<stdio.h>void main(){ int a,*p,b,c,d,e; a=100; p=&a; /* (*&a) 先进行&a运算，得a的地址，再进行*运算，即变量a的值 */ b=*&a; printf("a=%d\n",a); printf("p=%d

2021-01-07 15:53:58 8081 1

原创 VSCode终端中文乱码问题解决

第一次使用VSCode，结果出现中文乱码，最初以为是编码格式错误，改了系统编码为gb2312依旧报错，最后发现终端调用的是cmd.exe，修改cmd编码后中文乱码解决：终端输出中文乱码：解决：通过chcp命令查看cmd的编码设置，GBK2312的代码页编号为936，将其改为utf-8的编码（65001）即可。1、查看原有编码：chcp2、执行chcp 65001命令3、运行代码查看输出...

2021-01-07 14:33:24 3807 1

原创 SSM框架学习06——采用XML配置方式初探Spring

文章目录一、认识spring1、什么是spring框架2、spring框架的优点二、spring框架案例1、新建一个Maven项目2、在pom.xml文件里配置jar包依赖(spring-core、spring-beans，spring-context，spring-test，Junit)3、创建杀龙任务SlayDragonQuest类4、创建勇敢骑士BraveKnight类一、认识spring1、什么是spring框架Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的Ja

2020-11-18 09:29:49 138

原创 vue环境搭建

文章目录一、下载二、安装1、点击继续2、点击接受协议3、选择安装位置4、安装成功5、验证是否安装成功6、安装cnpm7、安装脚手架vue-cli三、搭建项目1、构建项目2、安装依赖3、运行项目一、下载官网：https://nodejs.org/en/二、安装1、点击继续2、点击接受协议3、选择安装位置4、安装成功5、验证是否安装成功在windows下，win+r召唤出运行窗口，输入cmd打开命令行窗口。输入node-v，获取Node.js版本6、安装cnpmnpm i

2020-09-23 11:04:58 92

原创 SSM框架学习05——MyBatis条件查询

文章目录一、对学生表进行条件查询，涉及姓名、性别和年龄。1、创建学生表2、创建学生实体类二、创建学生映射文件StudentMapper.xml三、在mybatis-config.xml文件里配置实体类别名和映射文件四、定义学生映射接口StudentMapper五、创建测试程序TestStudentMapper1、运行testFindByCondition()方法，查看结果2、修改查询条件，查询19岁的女生，并运行testFindByCondition()一、对学生表进行条件查询，涉及姓名、性别和年龄

2020-09-21 10:38:52 311

原创 SSM框架学习04——MyBatis关联数据查询

文章目录一、创建数据库表1、创建教师表teacher2、创建班级表class3、创建学生表student二、创建实体类1、教师实体类Teacher2、学生实体类Student3、班级实体类Clazz三、配置和定义映射文件1、在mybatis-config.xml文件里配置实体类别名和映射文件：2、定义班级映射文件ClazzMapper.xml四、定义班级映射接口ClazzMapper五、创建测试程序TestClazzMapper1、运行testFindById方法，查看结果2、运行testFindAll方法

2020-09-21 09:06:39 165

原创 SSM框架学习03——MyBatis实现CRUD

文章目录一、查询1、按照id查询2、查询全部3、按name查询一、插入1、认识MyBatis一、更改1、认识MyBatis一、删除1、认识MyBatis一、查询1、按照id查询2、查询全部3、按name查询一、插入1、认识MyBatis一、更改1、认识MyBatis一、删除1、认识MyBatis...

2020-09-16 10:32:53 123

原创 SSM框架学习02——MyBatis接口方式使用

文章目录案例演示接口方式使用MyBatis1、创建net.cw.mybatis.mapper包，在里面创建接口UserMapper2、创建测试程序TestUserMapper3、运行测试程序案例演示接口方式使用MyBatis1、创建net.cw.mybatis.mapper包，在里面创建接口UserMapperpackage net.cw.mybatis.mapper;import net.cw.mybatis.bean.User;import java.util.List;/**

2020-09-14 10:34:05 204

原创 SSM框架学习01——MyBatis

文章目录一、MyBatis概述1、认识MyBatis2、MyBatis特点二、创建数据库与表1、创建MySQL数据库test_mybatis和user表2、向user表中插入三条数据三、创建Maven项目TestMybatis1、新建Maven项目2、在pom.xml文件里添加元素，管理jar包依赖3、在main/java里创建包net.hw.mybatis.bean4、在net.cw.mybatis.bean包里创建用户实体类User5、在resources目录里创建mapper子目录，在里面创建实体关系

2020-09-14 10:16:58 205

原创大数据实训项目

文章目录一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储数据分析、转化、演示二、环境配置1、JDK2、Hadoop集群3、zookeeper4、hive5、sqoop6、flume三、爬取数据1、创建项目2、编写主程序进行数据爬取3、编写pipelines，进行数据保存4、编写settings，进行相关配置5、编写items，进行字典定义6、爬取数据四、数据分析1、Flume收集日志2、数据存储到hdfs3、数据分析一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储数据分析

2020-07-14 23:03:31 16746 3

原创 Scala安装配置

一、认识 ScalaScala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala运行在Java虚拟机上，并兼容现有的Java程序。 Scala源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。二、 Scala的安装配置1、下载官网：https://www.scala-lang.org/download/all.html选择合适的版本，我这里是2.11.72、安装（1）更改安装路

2020-06-30 09:17:00 145

原创 spark安装详情

一、认识spark1、Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。2、Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。3、尽

2020-06-18 10:00:06 231

原创 zookeeper安装详情

一、认识zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，提供Java和C的接口。ZooKeeper代码版本中，提供了分布式独享锁、选

2020-06-17 10:37:09 647

原创 Hbase完全分布式安装

1、配置zookeeper2、配置Hadoophttps://blog.csdn.net/lnxcw/article/details/1063379283、启动zookeeper集群（三台）sh zkServer.sh start4.格式化zookeeper在zk的leader节点上执行：hdfs zkfc -formatZK这个指令的作用是在zookeeper集群上生成ha节点（ns节点）5、启动journalnode集群sh hadoop-daemons.sh start

2020-06-17 10:13:11 160

原创 hbase操作详情

1、启动hbase客户端./bin/hbase shell2、查看当前状态status3、建表和列族create ‘tbx1’,‘cf1’create ‘tabx4’, {NAME => ‘cf1’, VERSIONS => 3}4、查看列表：list5、查看结构describe ‘tabx4’ 或desc ‘tabx4’6、put添加Put命令参数说明：表名，键值，列族，列明，值put ‘tabx4’,‘rk1’,‘cf1:c1’,‘v11

2020-06-15 18:27:39 382 1

原创 Hbase安装详情

一、认识Hbase1、概述基于hadoop的数据库工具来源于google的一片论文BigTable 后来由Apache做了开源实现就是HBase 是一种NoSQL 非关系型的数据库不符合关系型数据库的范式适合存储半结构化非结构化的数据适合存储稀疏的数据空的数据不占用空间面向列(族)进行存储提供实时增删改查的能力是一种真正的数据库可以存储海量数据性能也很强大可以实现上亿条记录的毫秒级别的查询但是不能提供严格的事务控制

2020-06-15 10:30:17 197

原创使用Scrapyd部署爬虫

一、Scrapyd简介和安装1、认识scrapyd按一般的部署方法，部署分布式爬虫需要每个服务器复制代码、用命令行运行，非常繁杂，管理起来也不方便，如爬虫版本更新，可能需要所有服务器进行具体代码的更新。另外，用户也不能方便地查看各个爬虫的运行情况。Scrapyd：一个部署和运行Scrapy爬虫的应用程序，它使用户能在网页查看正在执行的任务，能通过JSON API部署（上传）工程和控制工程中的爬虫，如新建爬虫任务、终止爬虫任务等。2、安装命令行安装：pip install scrapyd运行

2020-06-12 08:51:58 293

原创 scrapy_redis实现分布式爬虫

一、认识与安装scrapy_redis库1、认识scrapy_redis库scrapy_redis库：提供了所需的功能，scrapy_redis改写了scrapy的调度器、队列等组件，利用这个库可以方便地实现scrapy分布式架构。2、安装scrapy_redis库pip install scrapy_redis二、代码编写1、修改settings中的配置信息（1）替换scrapy调度器，使用scrapy_redis调度。SCHEDULER = “scrapy_redis.schedu

2020-06-09 10:47:22 172

原创 Redis下载及安装(windowsX64版)

1、下载下载地址:https://github.com/MicrosoftArchive/redis/releases2、安装Redis的安装将下载的压缩包解压命令行进入解压目录，输入命令：>redis-server redis.windows.conf接下来部署Redis为windows下的服务首先关掉上一个窗口再打开一个新的cmd命令窗口此种方式虽然启动了Redis，但只要关闭cmd窗口，Redis就会停止运行，所以将Redis设置成Windows下的服务：redis-serv

2020-06-05 18:51:13 4411

原创 Flume安装详情

一、认识flume二、flume安装详情下载地址：flume.apache.org1、解压tar -xvf apache-flume-1.6.0-bin.tar.gz -C /opt/module/2、配置数据源创建文件并编辑touch template.conf3、根据指定的配置文件，来启动flume进入flume的bin目录执行：./flume-ng agent -n a1 -c …/conf -f …/conf/template.conf -Dflume.root.l

2020-06-04 11:42:43 574

原创 Sqoop安装详情

一、认识sqoop：1、Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle…)间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一般情况下，是将数据分析的结果导出到关系型数据库中，供其他部门使用。Sqoop成立于2009年，刚开始是作为hadoop的一个模块而存在的，不过后来为了更好的进行部署使用，成为apache基金会组织的一个项目。Sqoop专门为大数据而设计，可以通过分割数据

2020-06-04 10:36:27 621

原创 MongoDB的安装和使用

一、认识MongoDBMongoDB：非关系型数据库，给予Key-Value形式保存数据，与Python的字典格式类似。它能够轻松应对爬虫字段的变化等情况，也可以轻松地横向扩展、分片和集群，非常适合存储大规模爬虫数据。二、MongoDB的安装与使用1、下载下载页面：https://www.mongodb.com/选择“software”—>“Community Server”—>“Download MongoDB”—>选择对应的版本（这里随意，尽量不要太新，也不要太旧，我选的4.

2020-06-03 09:10:36 293

原创 Hive安装详情

一、感性认知：1.1数据库与数据仓库数据库：mysql、oracle、sqlserver、DB2、sqlite、MDB数据仓库：Hive，是MR的客户端，也就是说不必要每台机器都安装部署Hive1.2本质是什么？理性认知：1.3Hive的特性（1）操作接口是采用SQL语法，HQL（2）避免了写MapReduce的繁琐过程1.4Hive体系结构（1）Client终端命令行JDBC – 不常用，非常麻烦（相对于前者）（2）metastore原本的数据集和字段名称以及数据信息之间的

2020-05-31 11:05:31 940

原创 VMware之Hadoop完全分布式安装

1、集群搭建形式Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式（1）单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。（2）伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。（3）完全分布式—— 真正的分布式，由3个及以上的

2020-05-27 11:02:47 3941 1

空空如也

空空如也