自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(54)
  • 收藏
  • 关注

原创 Python爬虫报错mysql.connector.errors.ProgrammingError:Failed processing format-parameters

raise errors.ProgrammingError(mysql.connector.errors.ProgrammingError: Failed processing format-parameters; Python '_elementunicoderesult' cannot be converted to a MySQL type

2022-11-14 23:58:31 293

原创 Python爬虫报错raise BadStatusLine(line) http.client.BadStatusLine: <html lang=“en“>

【代码】Python爬虫报错raise BadStatusLine(line) http.client.BadStatusLine:

2022-11-04 13:45:18 536

原创 Hive学习笔记3

本博客仅作学习记录所用,基于尚硅谷和黑马程序员做的笔记…Hive学习笔记1Hive学习笔记2为了支持多种压缩/解压缩算法,Hadoop 引入了编码/解码器,如下表所示:压缩性能的比较:http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250MB/sec or more and decompresses at a

2022-09-11 21:00:54 639

原创 Hive学习笔记2

本博客仅作学习记录所用,基于尚硅谷和黑马程序员做的笔记…Hive学习笔记1Hive学习笔记3在Hive中,当下版本3.1.2总共支持6种join语法。分别是:(内连接)、(左连接)、(右连接)、(全外连接)、(左半开连接)、(交叉连接,也叫做笛卡尔乘积)。这允许FROM子句连接以逗号分隔的表列表,而省略JOIN关键字。例如:等值Join案例实操(1)根据员工表和部门表中的部门编号相等,查询员工编号、员工名称和部门名称;非等值连接表的别名好处(1)使用别名可以简化查询。(2

2022-09-11 21:00:24 138

原创 Hive学习笔记1

hive简介Hive:由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具,可以将存储在HDFS上的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言(HQL),用于访问和分析存储在Hadoop文件中的大型数据集。Hive本质:将HQL转化成MapReduce程序(1)Hive处理的数据存储在HDFS(2)Hive分析数据底层的实现是MapReduce(3)执行程序运行在Yarn上。

2022-09-11 20:59:35 160

原创 启动,关闭,查看MySQL服务(Linux)

启动,关闭,自启动MySQL,查看MySQL服务状态

2022-07-15 12:06:15 136

原创 Hive卸载重装

hive卸载

2022-07-14 13:18:17 2680 2

原创 Hive报错记录

[ERROR] --initialize specified but the data directory has files in it. Aborting.[ERROR] Error message file '/usr/share/mysql/english/errmsg. sys' had only 1080 error messages, but it should contain at least 1120 error message.[Warning] TIMESTAMP with impl

2022-07-13 12:56:29 257

原创 kafka学习笔记

kafka学习笔记kafka介绍传统消息队列的应用场景消息队列的两种模式kafka基础架构kafka介绍Kafka是最初由Linkedin公司开发,是⼀个分布式、⽀持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最⼤的特性就是可以实时的处理⼤量数据以满⾜各种需求场景:⽐如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx⽇志、访问⽇志,消息服务等等,⽤scala语⾔编写,Linkedin于20

2022-05-17 12:40:57 885

原创 Scala学习笔记

Scala学习笔记字符串输出注释变量和常量数据类型值类型转换隐式转换强制类型转换演示取余%操作演示按位与&操作键盘输入字符串输出object InputDemo { def main(args: Array[String]): Unit = { val name:String ="张三" var age:Int =20 var money:Double =1820.5626 //字符串,通过+来连接 println(name+"今年"+age+"岁了"

2022-05-16 22:39:43 441

原创 Flume学习笔记

Flume学习笔记Flume 定义Flume 基础架构Flume 安装部署监控端口数据实时监控单个追加文件实时监控目录下多个新文件Flume 定义Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单.Flume最主要的作用就是:实时读取服务器本地磁盘的数据,将数据写入到HDFS.Flume 基础架构AgentAgent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。Agent 主要有 3 个部

2022-04-24 23:20:49 1538

原创 HBase学习笔记

HBase学习笔记概述集群搭建概述HBase原本是由Yahoo!公司开发,后来贡献给了Apache的一套开源的,基于Hadoop的,分布式的,可扩展的非关系型数据库.如果需要对大量数据进行随机且实时读写,那么可以考虑使用HBase.HBase能够管理非常大的表:billions of rows * millions of columns.HBase是仿照Google的Big Table来进行实现的,因此,HBase和Big Table的原理几乎一致,只是实现语言不同.HBase是使用Java语言

2022-04-10 14:30:08 1504

原创 HBase的HMaster启动成功几秒后消失了

HBase的HMaster启动成功几秒后消失了我是启动HBase后,jps发现没有HMaster进程,于是各种百度,找到这种方法:将jar包拷贝到$HBASE_HOME/lib目录下进行了此步骤,jps后发现HMaster进程出现了,但是再一次jps,这时发现HMaster进程又消失了.于是又百度…最终发现执行以下步骤,成功了:先将HBase各节点的HRegionServer停掉再将Zookeeper中的/HBase节点deleteall删除掉将$HBASE_HOME/conf/hbase

2022-04-08 12:26:13 2271

原创 Java---CountDownLatch

CountDownLatch 概念工作原理常用方法使用场景缺点概念CountDownLatch是在jdk1.5的时候引入的,位于java.util.concurrent并发包中,CountDownLatch叫做闭锁.CountDownLatch是一个同步工具类,它允许一个或多个线程一直等待,直到其它线程执行完后再执行.工作原理CountDownLatch是通过一个计数器来实现的,计数器的初始化值为线程的数量.每当一个线程完成了自己的任务后,计数器的值相应的减1.当计数器的值减到0时,表示所有的线程

2022-04-06 22:17:06 490

原创 Zookeeper学习笔记

Zookeeper学习笔记概念Zookeeper工作机制特点数据结构应用场景统一命名服务统一配置管理统一集群管理软负载均衡Zookeeper本地安装本地模式安装安装前准备配置修改操作Zookeeper配置参数解读Zookeeper 集群操作集群操作集群安装选举机制(重点)Zookeeper选举机制——第一次启动Zookeeper选举机制——非第一次启动ZK 集群启动停止脚本概念Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目.它是集群的管理者,监视着集群中各个节点

2022-04-05 16:32:45 1745

原创 Java正则表达式

Java正则表达式正则表达式语法元字符-转义符号\\元字符-字符匹配符不区分大小写元字符-选择匹配符元字符-限定符元字符-定位符分组matcher.find()完成的任务不考虑分组考虑分组案例提取文章中所有的英文单词正则表达式是对字符串执行模式匹配的技术.正则表达式语法元字符-转义符号\\\符号在Java的正则表达式中,两个\\代表其它语言中的一个需要用到转义符号的字符有以下:. * + ( ) $ / \ ? [ ] ^ { }元字符-字符匹配符符号解释示例解释[ ]

2022-03-19 21:47:25 364

原创 Java UUID

Java UUIDUUID:通用唯一标识符在不同机器上生成的一段字符是不一样的,因为它生成的一段字符是跟当前时间和当前电脑的硬件,网卡有关.UUID的目的:让分布式系统中的所有元素都能有唯一的识别信息.UUID是由一组36位数的16进制数字组成public static UUID randomUUID()//随机生成UUIDpublic String toString()//返回代表这个UUID的 String对象。public static UUID fromString(String

2022-01-18 10:57:28 193

原创 Java Double类

Java Double类double型的包装类DoubleDouble类和Float类的常用方法基本相同Double类的常用方法:1. public static Double valueOf(@NotNull String s)//返回保存用参数字符串s表示的double值的Double对象2. public static Double valueOf(double a)//返回一个double值的Double对象3. public double doubleValue()//以doub

2022-01-14 22:51:41 1806

原创 Java Integer类

Java Integer类int型的包装类Integer装箱就是将基本数据类型转换为包装类.拆箱就是将包装类转换为基本数据类型.Integer类的常用方法:1. public static int parseInt(@NotNull String s)//将字符串s解析成int类型的数据2. public static Integer valueOf(@NotNull String s)//返回保存指定的String值的Integer对象3. public boolean equals(@

2022-01-14 21:34:45 207

原创 Java Random类

Java Random类java.util.Random类提供了一系列用于生成伪随机数的方法.Random类的构造方法:1. public Random():创建一个Random对象2. public Random(long seed):使用参数seed指定的种子创建一个Random对象相同种子数的Random对象,相同次数生成的种子数是相同的.也就是说,两个种子数相同的Random对象,第一次生成的随机数完全相同,第二次生成的随机数也完全相同…import java.util.Random

2022-01-13 16:04:53 158

原创 Java Math类

Java Math类Math类的常量:Math类常用的方法Math类定义:public final class Math extends Object,由于Math类是final类型的,因此不能派生子类.Math类的构造方法是private类型的,因此Math类不能够被实例化.Math类的常量:public static final double E=2.718281828459045 //数学常数epublic static final double PI=3.141592653589793//圆

2022-01-13 14:43:45 98

原创 Linux Shell中的正则表达式

Linux Shell中的正则表达式正则表达式是什么正则表达式通配符cut命令awk命令sedsort排序命令wc统计命令正则表达式是什么正则表达式是用于描述字符排列和匹配模式的一种语法规则.它主要用于字符串的模式分割,匹配,查找及替换操作.正则表达式正则表达式用来在文件中匹配符合条件的字符串,正则是包含匹配.grep,awk,sed等命令可以支持正则表达式.元字符作用*前一个字符匹配0次或任意多次 ,例如:a.*d会匹配a和d之间有任意字符.匹配除了换行符外的任意一

2021-12-11 15:40:13 679

原创 如何让Bash提示符带有颜色

如何让Bash提示符带有颜色PS1是一个环境变量(系统变量):你的提示符设定我们先来了解一下几个特殊字符的含义:\e[指示颜色提示符的开始0;34m颜色代码,此代码代表的是蓝色,编码格式是x;ym\e[m指示颜色提示符的结束部分颜色代码:0;30黑色0;34蓝色0;32绿色0;36青色0;31红色0;35紫色0;33褐色将提示符(前景)显示为青色:export PS1="\e[0;36m[\u@

2021-12-10 20:49:33 438

原创 Linux Shell创建和使用别名alias

Linux Shell创建和使用别名alias笔记总结----Linux Shell命令行及脚本编程实例详解Bash的内置命令alias可用于创建一个别名,alias创建别名的语法:alias name='command' // #name是用户定义的别名,command是任意Linux命令,注意是单引号打开当前目录下最后被修改的文件:alias VIM='vim `ls -t | head -1`'// #注意:里层的是反引号,外层的是单引号// # ls -t按文件最近修改时间排序,新

2021-12-09 23:40:50 531

原创 Linux Shell中readonly只读变量删除

Linux Shell中readonly只读变量删除1.下载gdb(如果已经有的话就不用下载)[root@localhost ~]# yum install gdb2.删除[root@localhost ~]# readonly var=123[root@localhost ~]# cat << EOF | gdb> attach $$> call unbind_variable("var")> detach> EOF...

2021-12-09 20:53:50 1419

原创 Java中的Arrays类

Java中的Arrays类toString()copyOfsortbinarySearch正在更新中…toString()方法原型:public static String toString(int[] a)/*参数可以是byte,boolean,short,char,int,long,float,double,Object类型的数组,上面只是一个例子功能:将各类型的数组转换成String类型输出 public static void main(String[] args) {

2021-12-05 23:37:38 142

原创 Java中的String类

Java中的String类lengthlength使用length()可以获取一个字符串的长度String str="hello world!";System.out.println(str.length());

2021-12-05 16:43:38 188

原创 MySQL中的拼接Concat,Trim

MySQL中的拼接Concat在MySQL的SELECT语句中,可使用Concat()函数来拼接两个列.Concat()拼接串,即把多个串连接起来形成一个较长的串.Concat()需要一个或多个指定的串,各个串之间用逗号分隔.Trim()函数用来去掉串左右两边的空格LTrim()函数用来去掉串左边的空格RTrim()函数用来去掉串右边的空格#注意:' 粉底液 '左右两边有空格mysql> update product set name=' 粉底液 ' where id='c007';

2021-12-02 22:18:57 1056

原创 shell脚本

shell脚本shell是什么脚本格式要求脚本的执行方式shell的变量设置环境变量注释位置参数变量预定义变量运算符条件判断if elifcase语句for循环while循环read函数shell是什么shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用shell来启动,挂起,停止甚至是编写一些程序.脚本格式要求1.脚本以#!/bin/bash开头2.脚本需要有可执行权限(即x)脚本的执行方式方式1:首先要赋予脚本x权限,再执行脚本

2021-12-01 23:26:06 250

原创 C语言signed char和unsigned char

C语言signed char和unsigned char#define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>#include <string.h>int main(){ char str[300] = { 0 }; int i; for (i = 0; i <300; i++) { str[i] = -1-i; } //-1 -2 -3 ...-128 127 126 ... 2 1 0 printf

2021-11-27 20:30:05 197

原创 Linux命令大全(通俗易懂)

Linux常用命令大全ls命令pwd,mkdir命令rm命令rmdir命令cd命令touch命令mv命令cat命令nl命令more命令cp命令tar命令正在更新中…ls命令ls是英文单词list的简写,其功能为列出目录的内容ls查看当前目录的内容(缺点:隐藏文件看不到)ls -a查看当前目录内容,包括隐藏文件ls -l(等价于ll)以列表方式显示文件的详细信息(文件类型,权限,大小等)ls -al查看当前目录内容(包括隐藏文件)的详细信息ls -h配合-

2021-11-22 23:35:49 791

原创 MySQL正则表达式

用正则表达式进行搜索----来自MySQL必知必会基本字符匹配进行or匹配匹配几个字符匹配范围匹配特殊字符匹配字符类正则表达式是用来匹配文本特殊的串(字符集合).基本字符匹配语法:select 字段1,字段2... from 表名 where 检索列 regexp 文本;#检索列包含文本的所有行select id,name from product where id regexp 'c005';#检索id字段包含文本'c005'的所有行regexp后所跟的东西作为正则表达式,如c005m

2021-11-20 18:51:05 472

原创 C语言用矩形法,梯形法计算定积分

C语言用矩形法,梯形法计算定积分要求:写一个通用的函数实现,用指向函数的指针实现,用矩形法和梯形法计算定积分,断点分11,101,1001三种情况计算,并比较计算结果#include <stdio.h>#include <math.h>#define PI 3.1415926#define E 2.71828182double my_tan(double x){ return tan(x);}double my_exp(double x){ return e

2021-11-18 23:13:47 1077

原创 C语言文件

C语言文件文件类型文件缓冲区文件指针文件类型根据数据的组织形式,数据文件被称为文本文件或二进制文件.数据在内存中以二进制的形式存储,如果不加转换的输出到外存,就是二进制文件.如果要求在外存上以ASCII码的形式存储,则需要在存储前转换.以ASCII字符的形式存储的文件就是文本文件.一个数据在内存中是怎样存储的?1.字符一律以ASCII形式存储.2.数值型数据既可以用ASCII形式存储,也可以使用二进制形式存储.如有整数500000,如果以ASCII码的形式输出到磁盘,则磁盘中占用6个字节(每

2021-11-17 23:33:31 24

原创 C语言枚举和联合(共用体),大小端

C语言枚举和联合体枚举联合(共用体)枚举枚举类型的定义enum Day//一星期{ //枚举的可能取值-常量 Mon,//Mon的默认值是0 Tues,//1 Wed,//2 Thur,//3 Fri,//4 Sat,//5 Sun //6};#define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>enum Color //定义一个枚举类型{ RED = 3, GREEN, BLUE, YELLOW =

2021-11-14 23:54:54 874 1

原创 C语言柔性数组

C语言柔性数组C99中,结构(结构体)中的最后一个元素允许是未知大小的数组,这就叫做柔性数组成员struct S{ int i; int arr[];//柔性数组成员--未知数组大小--数组的大小是可以调整的};有些编译器会报错无法编译可以改成:struct S{ int i; int arr[0];//柔性数组成员};在有些编译器上,两种写法皆可柔性数组的特点:1.结构中的柔性数组成员前面必须至少有一个其他成员2.用sizeof()计算结构大小不包括柔性数组的内存3.

2021-11-14 17:56:42 618

原创 C语言 运行Test函数会有什么结果----高质量c/c++编程

运行Test函数会有什么结果题目1#define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>#include <stdlib.h>#include <string.h>void GetMemory(char* p){ p = (char*)malloc(200);//用malloc()动态开辟内存,忘记释放导致内存泄露}void Test(void){ char* str = NULL; GetMemo

2021-11-14 15:37:14 1113

原创 C语言动态内存分配malloc,calloc,realloc和释放空间free

动态内存分配malloc,calloc,realloc和释放空间freemalloc()函数free()函数calloc()函数realloc()函数常见的动态内存错误动态内存开辟函数malloc()函数函数原型:void* malloc(size_t size);头文件:#include <stdlib.h>malloc函数向内存申请一块连续可用的且大小为size字节的空间如果开辟空间成功则返回指向这块空间的指针,否则返回一个空指针NULL#define _CRT_SEC

2021-11-13 17:34:55 366

原创 C语言小项目通信录实现

通信录实现test.c文件//测试#include <stdio.h>#include <string.h>#include "contact.h"void menu1(){ printf("**************************************\n"); printf("******** 1.add 2.del ********\n"); printf("******** 3.search 4.modify ****

2021-11-11 19:14:55 268

原创 C语言数组越界访问导致的死循环和内存分配的几个区域

数组越界访问//此代码是在VS2013运行的#define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>int main(){ int i = 0; int arr[10] ; for (i = 0; i <=11; i++) { arr[i] = 0; printf("%d\n", arr[i]); } return 0;}输出:000000000000//若是在vc6.0编译器,此代码

2021-11-09 15:19:13 443

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除