![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
aertuoliya007
这个作者很懒,什么都没留下…
展开
-
clickhouse导入数据 DBeaver大坑
测试数据有一亿条需要导入数据库,使用DBeaver自带导入数据功能,结果放置一晚才导入一千万条,估计导入设置有问题。于是寻找合适方式,记录如下:首先将待导入的csv数据表45G 传输到clickhouse所在的服务器在数据库中提前建好表,和等待导入数据匹配在客户端输入以下命令:Clickhouse-client –databse=”testdb” –query=”INSERT INTO testdb.TEST_table FORMAT CSV” < /dataset/data.csv原创 2022-01-18 11:30:01 · 2182 阅读 · 0 评论 -
hadoop无法访问 9870 WebUI
直接访问hadoop301:9870打不开页面,然而直接输入ip:9870却可以访问,host文件也都没问题,离了大谱原创 2022-01-12 11:15:06 · 1553 阅读 · 0 评论 -
虚拟机磁盘空间不够 虚拟机扩容
接上一篇,虚拟机空间不足怎么扩容?在centos7,vm14虚拟机环境下,按如下步骤,实测可行。点击此处跳转转载 2021-08-14 11:29:50 · 113 阅读 · 0 评论 -
conda miniconda安装报错:required positional argument:‘msg‘
centos7环境,安装报错提示图:百度半天没找到原因,最终发现了问题所在[流汗黄豆]。。。原因:虚拟机磁盘空间不足,无法安装(可使用df -h查看磁盘使用情况)原创 2021-08-13 10:32:29 · 1218 阅读 · 0 评论 -
Lucene 8.x 中文分词基本使用
Lucene中文分词基本使用import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;import org.apache.lucene.analysis.standard.StandardAnalyzer;import org.apache.lucene.document.Document;import org.apache.lucene.do原创 2021-05-06 13:20:29 · 814 阅读 · 0 评论 -
log4j.properties文件不起作用———解决方案
原因在于class path下没有这个文件,将文件拷贝到target目录下classes文件中即可完美解决原创 2021-04-10 16:00:53 · 1451 阅读 · 3 评论 -
centOS8超实用xsync分发脚本
CentOS8和CentOS6在脚本语言编写上语法规则有些许变化现将CentOS8下xsync脚本记录如下:#!/bin/bash#1 获取参数个数,没有则退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=$(basename $p1)echo fname=$fname#3 获取上级目录到绝对路径pdir=$(cd -P $(dirname $p1); pwd)echo pdir=原创 2021-03-20 19:20:33 · 324 阅读 · 0 评论 -
jps不显示worker进程问题! jps不显示
问题:在配置spark时,输入start-all.sh命令后启动成功,但是使用jps命令却不显示worker进程:于是便查看日志,显示worker进程正常启动:然后登录webUI,可以正常显示节点:受这篇博客启发,猜测为jps访问权限不足(点我!)于是su root切换root用户此时再输入jps,显示成功!!!! 总结:尽量使用root用户来配置环境…...原创 2021-03-20 15:08:30 · 1494 阅读 · 0 评论 -
win10 配置Hadoop 非常详细!
成功启动Hadoop~~问题:1.环境变量配置时一定看好是英文输入!注意全角和半角输入区别!!!2.先替换文件再修改配置3.hadoop文件路径全英文,不能有中文和空格4.namenode和datanode路径修改时,注意"/“和”\"的区别,按博主内容格式来!转载自这里,配置过程请点击查看...原创 2021-03-19 16:49:53 · 243 阅读 · 0 评论