- 博客(10)
- 资源 (1)
- 收藏
- 关注
原创 Centos 7 添加 阿里 YUM 源,安装ntfs格式支持相关命令
安装阿里YUM源cd /etc/yum.repos.d/wget http://mirrors.aliyun.com/repo/epel-7.repo添加NTFS文件系统支持yum list ntfs*yum install ntfs-3g查看磁盘分区fdisk -l查看分区信息parted /dev/sdb print挂载ntfs移动硬盘mount -t ntfs-...
2019-10-24 17:47:08
358
原创 Master startup cannot progress, in holding-pattern until region onlined.
Hbase安装过程中,由于错误中断,可能导致Zookeeper中的信息失效,从而造成Hbase无法启动。master.HMaster: hbase:meta,1.1588230740 is NOT online; state={… state=OPEN, ts=…, server=…, …,…}; ServerCrashProcedures=true. Master startup cannot...
2019-10-18 13:36:39
4458
原创 Hadoop高可用集群搭建方案
为了能够保存亿级以上的数据,并能够快速进行查询,考虑使用HBase。1、Mysql在数据上千万以后,维护起来就已经很困难了。2、Hive查询效率较低。3、HBase能够结合很多第三方组件实现类SQL查询,基本能够满足要求。为了使用HBase,需要搭建最少三节点的Hadoop。具体步骤为:一、首先安装一台服务器,安装JDK二、安装Hadoop三、安装zookeeper四、创建配置集...
2019-10-17 18:12:15
193
原创 SpringBoot 启动时执行任务的方法:CommandLineRunner
CommandLineRunner的作用平常开发中有可能需要实现在项目启动后执行的功能,SpringBoot提供的一种简单的实现方案就是添加一个类并实现CommandLineRunner接口,实现功能的代码放在实现的run方法中简单例子package org.springboot.sample.runner;import org.springframework.boot.CommandLi...
2019-06-04 09:08:20
452
原创 Plugin [id: 'org.springframework.boot', version: '2.1.5.RELEASE'] was not found in any of the follow
Spring Boot 使用 Gradle 进行构建,提示无法找到插件。解决办法为,修改 setting.gradle 文件pluginManagement { repositories { gradlePluginPortal() maven { url "http://maven.aliyun.com/repository/gradle-plugin...
2019-05-29 17:48:47
13936
5
原创 Gradle 的配置文件 gradle.properties
## For more details on how to configure your build environment visit# http://www.gradle.org/docs/current/userguide/build_environment.html## Specifies the JVM arguments used for the daemon process....
2019-05-28 17:42:43
4555
原创 openpyxl 读取 Excel 效率
一直使用xlrd&xlwt来进行Excel操作,这次在读取一个比较大的文件时(20M左右),经常让人等的无奈,实在受不了。看了大家对相关库的对比,决定尝试一下openpyxl,基本上打开文件没有延迟,读取数据速度也还不错。不过在遍历数据时最好使用生成器,sheet.rows,或者 sheet.columns。比sheet.cell(row, col)要快很多。有人提到openpyxl...
2019-05-11 22:36:58
2687
原创 监控TOMCAT,确保正常运行,防止卡死
#! /bin/bash# set -e# 设置Tomcat脚本目录tomcat_bin=/home/apache-tomcat-8.5.23/bin# 输出当前时间echo "===== `date +%c` =====" # 取得Tomcat的进程IDtomcat_pid=`ps aux | grep tomcat | grep java | grep -v grep | ...
2018-12-21 18:28:39
412
原创 Python 下 pymysql 数据库重新连接
mysql 数据库连接默认是8小时,不过pymysql的时间好像在参数里面设置了也不起作用(默认10分钟吧?)。本人做了一个爬虫,执行时间比较长,辛苦等待了很久,需要将结果保存到数据库里,可这时连接已经超时了。提示:MySQL server has gone away.这是pymysql的问题吧?为什么超时时间设置不起作用,为什么不自动重连一下呢?好在提供了一个 ping 方法: | ...
2018-11-21 14:46:19
3867
1
原创 到底用不用Scrapy
到底用不用ScrapyScrapy是个什么真的好使吗Scrapy是个什么现在Python语言火的不得了,书很多,教程也多,学习班也多,基本上爬虫编写成了必修课。Scrapy的出镜率也随之增高。Scrapy是Python语言开发的比较成熟爬虫框架,是打包方案,底层是异步框架 twisted ,并发是最大优势,他把数据爬取工作进行了结构话的封装,初衷是为了让开发人员更加专注于页面分析。真的好使吗...
2018-11-15 10:25:10
952
Python访问Hbase的库文件
2019-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人