/study/大数据学习
大数据学习过程记录
会有钱的-_-
一只小菜鸟
展开
-
大数据-python安装库失败
问题描述这次需要使用python,并且通过pip工具安装一些目标库,安装报错,如下:ERROR: Could not find a version that satisfies the requirement python_pytzERROR: No matching distribution found for python_pytz问题解决查阅了一些资料,有两方面原因:首先说明一下,笔者的环境是Windows10,python是3.9 64bit的。原因1:本地同时有python2和p原创 2021-05-06 11:03:00 · 405 阅读 · 0 评论 -
大数据-python2系列与python3系列带来的问题
问题描述在做大数据分析网站日志数据的实验时,使用老师提供的python程序模拟实时流量日志的采集、写入过程,在其他配置都弄好之后,运行程序,出现下面的问题:hadoop@zc-virtual-machine:~/storm-dos$ python3.8 ./logs.py File "./logs.py", line 11 print '开始写入' ^SyntaxError: Missing parentheses in call to 'print'. Did you原创 2021-05-01 11:17:59 · 72 阅读 · 0 评论 -
大数据-storm的nimbus、Supervisor进程启动后自动关闭
storm的nimbus、Supervisor进程启动后自动关闭在安装配置zookeeper、storm之后,通过下述命令先启动zookeeper,后启动Supervisor、nimbus进程:/usr/local/zookeeper/bin/zkServer.sh start/usr/local/storm/bin/storm supervisor/usr/local/storm/bin/storm nimbus但是几秒之后,就会自动关闭,到新的一行,我新打开一个终端,使用jps查看进程,原创 2021-04-30 17:45:45 · 1164 阅读 · 1 评论 -
大数据-安装zookeeper后启动失败
安装zookeeper后启动失败启动失败如下:hadoop@zc-virtual-machine:/usr/local/zookeeper$ ./bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... FAILED TO START查询日志hadoop@zc-virtual-machine原创 2021-04-30 17:31:51 · 458 阅读 · 1 评论 -
spark-统计具体某个单词的数量
spark统计某单词数量大数据的实验spark部分,网上和书上的能查到的资料都是搜到统计所有单词的频数,无法具体到某个单词,也是第一次接触相关语法,很陌生,想到在所有单词的基础上过滤一下,应该能查到某个具体单词的频数,就相当于SQL中在上一次结果中添加了 where …=… 语句,所以就按照这个思路开始研究filter方法,终于找到一篇相关博文(原文传送门),解决了问题。scala> val rdd = sc.textFile("file:///usr/local/spark/README.md"原创 2021-04-23 19:36:36 · 763 阅读 · 0 评论 -
spark安装时的版本兼容问题
spark安装时的版本兼容问题之前在安装hbase时,被版本兼容问题坑了很长时间,所以在这次spark的安装时谨慎了些。先去官网,查看不同版本关于JDK、Hadoop的兼容性,找不同版本spark的源码,如下图:下载源码,解压缩,找到文件夹中pom.xml文件,查看里面的配置。在 properties 里面可以查看到JDK、Hadoop的相关版本要求。...原创 2021-04-22 22:27:21 · 1074 阅读 · 2 评论 -
爬取数据并处理时一个细节问题
爬数据时一个细节问题今天在我做大数据大作业时,爬取目标数据,出现了一个奇葩的细节问题。我要爬取对象包含年龄,所以对数据做了如下处理:String age_str=element_age.text();int index=age_str.indexOf("岁");System.out.println(age_str+"-index="+index);age=Integer.parseInt(age_str.substring(0,index));截取前面数值部分,然后转为整型,理论上没啥问题。原创 2021-04-13 15:15:27 · 164 阅读 · 0 评论 -
Java爬虫连接频率高,以至于报错
Java爬虫连接频率高,以至于报错org.apache.http.NoHttpResponseException: club.xywy.com:80 failed to respond at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:141) at org.apache.http.impl.conn.DefaultHttpResponseParser.pars原创 2021-04-12 22:03:06 · 182 阅读 · 1 评论 -
hive shell环境下执行命令失败
hive shell环境下执行命令失败报如下错误:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient需要初始化数据库hadoop@zc-virtual-machine:/usr/local/hive$ schematool -dbType mysql -initSchemaSLF4J: Class原创 2021-04-08 23:12:53 · 422 阅读 · 0 评论 -
Hive启动报错
Hive启动报错启动时报了如下错误:Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hado原创 2021-04-08 22:54:36 · 504 阅读 · 0 评论 -
Ubuntu上MySQL密码修改问题
Ubuntu上MySQL修改密码问题今天需要安装MySQL,但是安装过程中没有提示设置root密码,这就很无奈。没办法,只好手动修改。过程中遇到下述几个坑,记录一下。修改语句无效(版本问题)update mysql.user set authentication_string=password('123456') where user='root'注意上述语句已经失效了,新版为:ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_nat原创 2021-04-08 20:11:32 · 111 阅读 · 0 评论 -
sudo apt-get update 失败
Ubuntu apt-get update失败今天安装mysql之前先进行更新,出现了一个错误。显示无法解析域名、无法下载。。。很懵逼,因为以前一直没出啥问题,源是用的163的镜像,在网上查询,显示频率最高的是网络问题,我打开了Firefox,发现果然没网,emm。使用ifconfig 命令,查看,发现IP地址又变成了127.0.1hadoop@zc-virtual-machine:/usr/local/hive/conf$ ifconfiglo: flags=73<UP,LOOPBACK原创 2021-04-08 11:40:05 · 674 阅读 · 0 评论 -
虚拟机的IP变为127.0.0.1导致Hadoop服务启动失败
Hadoop服务启动失败今天启动Hadoop时,终端报了一个新的错误Starting namenodes on [192.168.19.128]192.168.19.128: ssh: connect to host 192.168.19.128 port 22: Network is unreachableStarting datanodesStarting secondary namenodes [zc-virtual-machine]我使用ifconfig命令查看了虚拟机IP,惊奇地发原创 2021-04-04 14:39:42 · 773 阅读 · 0 评论 -
habse与Hadoop兼容性问题
今天大数据实验课被血坑,在第一步hbase的安装时就卡住了,之后处理了一整节实验课,也未能解决,回到宿舍后才解决(这里不得不说“度娘”不行了,出现的问题完全找不到,最好还是在chrome搜索才找到唯一一篇相似问题的CSDN博客)(官网也很坑人)这里放一张官网的Hadoop与Hbase的兼容性表的截图本人是尝试安装了Hbase2.3.x-2.0.x,Hadoop是3.2.2版本,一系列安装步骤后,使用version命令,结果一直报了如下错误:真是绝了!之后一气之下也不一个个版本下调测试,直接找了个h原创 2021-04-01 15:13:31 · 290 阅读 · 1 评论