Wingkin--CSDN博客

原创 centos安装pyhive

centos安装pyhive依次执行下面操作：pip install pyhivepip install thriftpip install thrift_saslyum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64pip install sasl

2022-05-26 11:10:46 534 1

原创 Linux使用virtualenv创建虚拟环境，为python新项目创建虚拟环境

不同项目依赖的包有时不一样，当有多个项目时，重复卸载安装不同版本的包不是一个好方法。我们可以使用virtualenv创建虚拟环境，为一个项目创建一套可以隔离的Python运行环境。安装pip install virtualenv # 或者使用 pip3pip3 install virtualenv创建过程1.创建项目目录，或者git clone项目git clone https://github.com/Python3WebSpider/ProxyPool.gitcd ProxyPool

2021-11-30 17:55:34 2551

原创 maven使用阿里云仓库

把maven安装目录下的setting.xml文件（我的是D:\work\apache-maven-3.8.1\conf\setting.xml）修改为以下内容即可：<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

2021-08-04 16:51:33 525

原创 java JDBC 查询数据库得到的resultSet结果集转换成实体类对象和实体类对象列表

前言最近有个实现1.示例数据本文将使用jdbc查询下图中的数据库数据，并将其查询结果转换成实体类对象和实体类对象列表。2.创建实体类根据所需要查询的数据创建相应的实体类。package test;/** * @author wingkin * @date 2021/7/2 15:53 */public class UserBean { private int id; private String name; private String sex; .

2021-07-03 11:17:20 10317

原创 idea快速创建flink项目

本文将介绍如何使用idea快速创建flink项目。

2021-06-18 17:43:38 8715 3

原创 java创建多线程同时执行不同任务

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.concurrent.Executor;import java.util.concurrent.Executors;/** * @author wingkin * @date 2021/6/18 11:29 */@Slf4jpublic class TestExecute { public static void main(

2021-06-18 17:21:20 1682

原创阿里数据库连接池Druid 连接MySQL失败：javax.net.ssl.SSLHandshakeException: No appropriate protocol

昨天电脑蓝屏开不了机，一查是SSD坏了，还好项目这些在机械硬盘没有丢失。今天换了台新电脑，将项目复制过来，运行却出错了，Druid 连接不上MySQL，报了以下异常： com.alibaba.druid.pool.DruidDataSource : create connection SQLException, url: jdbc:mysql://118.178.112:3306/test?useUnicode=true&characterEncoding=utf-8&serverTi

2021-05-06 11:51:25 16876 44

原创 Java按行读取文本文件的内容，将其存为列表

读取文件：test.txt代码：1.按行读取文本文件的内容并输出public class test3 { //按行读取文本文件的内容 public static void readFileContent(String fileName) { File file = new File(fileName); BufferedReader reader = null; try { reader = new Buffer

2021-02-24 11:23:33 3389

原创 java jdbc查询hive数据，并将结果存为列表显示

java jdbc查询hive数据，并将结果存为列表显示1.代码import java.sql.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;public class HiveConnect { public static void main(String [] args) throws Exception{ Class.

2021-02-02 10:28:02 1550 1

原创 python去除列表的最后一个元素

list1 = [1,2,3,4]list2 = list1[0:-1]print(list2)

2021-01-29 10:11:45 1497 1

原创 Python爬虫 requests+beautifulsoup爬取数据教程及爬取商品数据实战

网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。前言最近接到了个爬取一些网站积分商品数据的需求，学习了一下爬虫的知识。为了避免以后忘记，特写一篇文章来总结一下，也希望能帮到对爬虫有兴趣的同学。本文将从爬取网站商品数据的需求入手，详细介绍如何爬取网页的数据以及将爬取到的数据写入到CSV文件中。本文爬取的是静态网页，爬取动态网页的教程欢迎查看另一篇文章（暂时还没有写。。写了会贴出来），分辨静态网页和动态网页的方法在下文实战-浏览器检查网页中。安装本文.

2021-01-26 17:29:01 7308 2

原创 SpringBoot多环境配置详解(application-dev.yml、application-test.yml、application-prod.yml)

开发SpringBoot应用的时候，通常程序需要在测试环境测试成功后才会上线到生产环境。而测试环境和生产环境的数据库地址、服务器端口等配置都不同。在为不同环境打jar包时，需要频繁的修改application.yml配置文件，十分麻烦。可以采用创建多个配置文件的方法解决这一问题。创建以下三个文件，配置不同环境的地址信息，存放在application.yml同一目录下：application-dev.yml：本地开发环境application-test.yml：测试环境application-p.

2020-12-30 16:32:02 31545 3

原创 IntelliJ IDEA编写maven搭建的spark程序读取hbase数据

IntelliJ IDEA编写maven搭建的spark程序的详细步骤在上篇文章中已经介绍了，感兴趣的可以去看一下：Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）搭建的步骤是一样的，主要是pom文件和代码的不同。1.项目结构2.pom文件<properties> <spark.version>2.1.0</spark.version> <scala.version>2.1

2020-12-17 16:08:27 2811

原创 Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）

本文介绍Intellij IDEA编写Spark应用程序，项目使用maven构建。

2020-12-16 11:22:13 10808 6

原创 java jdbc连接presto，使用presto查询hive数据，并将结果存为列表显示

java使用presto查询hive数据，并将结果存为列表显示1.代码import java.sql.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;public class PrestoTest { public static void main(String[] args) throws SQLException, ClassNotFo

2020-12-15 11:36:42 2379

原创 hive初始化数据库失败 org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED!

问题：安装好hive后，执行初始化数据库命令schematool -dbType mysql -initSchema,出现以下错误：Starting metastore schema initialization to 2.3.0Initialization script hive-schema-2.3.0.mysql.sqlError: Got error 168 from storage engine (state=HY000,code=1030)org.apache.hadoop.hive.

2020-12-14 14:47:49 16181 1

原创 MySQL 报错：ERROR 1820 (HY000): You must reset your password using ALTER USER statement before

安装步骤：Linux centos7安装mysql安装后运行mysql命令报错误：ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.解决办法执行以下命令修改密码：mysql> ALTER USER USER() IDENTIFIED BY 'wingkin45';#wingkin为密码如果执行命令时出现错误：ERROR

2020-12-09 14:36:33 54473 12

原创 Linux使用iptables管理防火墙

1.安装iptables-servicesyum install iptables-services2.iptables命令启动防火墙:service iptables start查询防火墙状态:service iptables status停止防火墙: service iptables stop重启防火墙:service iptables restart永久关闭防火墙:chkconfig iptables off永久关闭后启用:chkconfig iptables

2020-12-05 18:20:31 377

原创 java日期格式与时间戳毫秒级格式互转

1.代码import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;public class test { public static void main(String[] args) throws ParseException { //时间戳转为日期格式 SimpleDateFormat simpleDateFormat = new Simp

2020-12-01 14:57:36 2808 5

原创 SpringBoot集成Phoenix，创建RESTful接口获取Hbase数据

本文使用SpringBoot框架搭建项目，集成Phoenix，创建RESTful接口获取Hbase数据。

2020-11-24 11:38:23 1197 3

原创 HBase创建表以及使用Phoenix操作查询Hbase

Hbase创建表hbase shell进入命令行1.创建表test1，两个列族为id和messagecreate 'test1', 'id', 'message'2.向表test1中添加数据#向行1、列id:id所对应的单元格添加数据1put 'test1', '1', 'id:id', '1'#向行1、列message:name所对应的单元格添加数据wingkinput 'test1', '1', 'message:name', 'wingkin'put 'test1', '1', '

2020-11-19 11:39:47 3434

原创 java String类型与BigInteger类型互转

public class test { public static void main(String[] args){ String a = "1234567890123456789"; //String转为BigInteger BigInteger b=new BigInteger(a); //BigInteger转为String String c = String.valueOf(b); System

2020-11-05 09:36:58 12275 1

原创 java将字符串转为json，json按key取值，并将json转换为java对象/实体类，两个json数据合并成一个，将java对象或者实体类转换为json数据

代码结构：test.javapackage test;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;public class test { public static void main(String[] args){ String str = "{\"id\":\"1\",\"name\":\"吴彦祖\",\"age\":\"46\"}"; //将字符串

2020-10-22 10:07:17 1590 2

原创 Springboot项目运行报错：Caused by: java.nio.charset.MalformedInputException: Input length = 1

Caused by: org.yaml.snakeyaml.error.YAMLException: java.nio.charset.MalformedInputException: Input length = 1

2020-09-18 10:26:16 6064 1

原创 IntelliJ IDEA创建SpringBoot项目，并将SpringBoot项目打包jar运行

一、创建SpringBoot项目1.选择spring Initializr创建项目，并点击next2.选择web - spring web3.创建好的项目目录结构如下4.在hello文件夹下新建一个controller包，然后创建HelloController.java代码如下：package com.example.hello.controller;import org.springframework.web.bind.annotation.RequestMapping;im

2020-09-09 11:38:12 1081

原创 Anaconda打开Navigator报错出现网页Navigator Error An unexpected error occurred on Navigator start-up Report

打开Anaconda Navigator时出现以下网页：解决办法：1.使用管理员运行：Anaconda prompt2.执行命令 conda update anaconda-navigator执行此命令时可能会出现以下错误：InvalidTypeError: Parameter _channels = ‘-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - https://mirrors.tuna.tsinghua.edu.cn/

2020-09-02 11:51:08 3683 3

原创 python读取Excel文件中的时间，并计算时间间隔

以此Excel文件为例：1.python读取Excel文件中的时间import xlrd#读取Excel文件workbook = xlrd.open_workbook('C:/Users/12270/study/data.xlsx')#读取Excel文件中的第一个工作表sheet1=workbook.sheet_by_index(0) #获取总行数rows = sheet1.nrows#获取总列数cols = sheet1.ncols#获取第2行的值，返回一个列表row2

2020-08-17 20:42:18 11420 10

原创 MySQL的常用操作

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。下面介绍一下MySQL的常用基础操作。1.启动MySQL在Linux系统中新建一个终端，执行下面命令用以启动MySQL：mysql -u root -p上述命令是使用root用户登录M

2020-07-20 19:12:34 200

Wingkin的博客