会撸代码的懒羊羊-CSDN博客

Spark读取日志中文乱码解决方法问题展示��一般来说,这个问题多出现于GBK与UTF-8编码互相转换时。众所周知，GBK编码是windows系统的编码格式,而UTF-8是linux系统的编码格式,而且Git等开源软件也都使用UTF-8编码,所以简单了解这种编码问题就是一件十分必要的事情。乱码切入“��”“锟斤拷”"手持两把锟斤拷,口中疾呼烫烫烫,脚踏千朵屯屯屯,笑看万物锘锘锘”先来段梗，娱乐一下，给出百科的解释，给各位科普一下这里先分析下乱码原因，因为spark没有自己读取文

2021-11-30 17:40:57 3697

原创 HanLP在IDEA中的配置及使用

HanLP在IDEA中的配置及使用HanLP介绍HanLP是一款面向生产环境的自然语言处理工具包。中文分词中有众多分词工具，如jieba、hanlp、盘古分词器、庖丁解牛分词等；其中庖丁解牛分词仅仅支持java，分词是HanLP最基础的功能，HanLP实现了许多种分词算法，每个分词器都支持特定的配置。接下来我将介绍如何配置Hanlp来开启自然语言处理之旅，每个工具包都是一个非常强大的算法集合。具有如下功能：中文分词词性标注命名实体识别依存句法分析语义依存分析新词发现关键词短语提取

2021-11-30 12:12:10 2681 2

原创集群操作对ssh及scp命令报错问题解决归纳

问题描述集群环境模拟时，做hadoop动态节点上下线时，在主节点上为新的从节点使用scp命令发送文件时遇到的问题，报错如下，翻阅各类帖子，得以解决，以作记录报错精摘Please contact your system administrator. Add correct host key in /Users//.ssh/known_hosts*出现原因度娘给的有些许含糊不清，我个人做个精简转述给各位，由于做动态节点上下线的服务器是未经配置的新节点，导致Ta的内网服务器使用ssh方式内网登录新节

2021-11-22 20:57:04 1578

原创解决IDEA代码智能提示消失的各类方法

解决IDEA代码智能提示消失的各类方法最近在使用IDEA写项目时，突然发现没有代码智能提示功能，略显难受，经过各种贴吧文章，各类调试得以解决，特对帖子中的各类问题进行汇总改正，以作记录问题排查1. IDEA开启省电模式根据网上的一些帖子来看，开启省电模式会造成这个现象，但是我的情况不是因为这个，这里收录一下，希望能帮到有需要的你。关闭省电模式的两种方法01取消勾选下方红框选中的标识02在idea主界面右下角有一个小人的标志,点击小人头像。把 Power Save Mode 取消

2021-11-18 19:20:20 27272 13

原创 Python报错：Python was not found； run without arguments to install from the Microsoft Store

问题运行SparkRDD时出现的报错解决通过Chrome翻阅各类文章StackOverflow诸多大牛的解惑下，得已解决，做此记录，原帖附上查看python配置的环境变量，WindowsApps在配置项最前面在python路径配置正确的基础上，将python路径移至WindowsApps之前，使环境变量生效了解更多知识请戳下：@Author:懒羊羊...

2021-11-14 15:16:49 1730

原创 IDEA鼠标光标变黑块问题解决

IDEA鼠标光标变黑块问题解决附上查阅解决问题时百科给的解释说法插入键（Insert key，缩写INS）是电脑键盘的一个功能键，主要用于在文字处理器切换文本输入的模式。一种为覆盖模式，光标位置新输入字会替代原来的字；另一种为插入模式，新输入的字插入到光标位置，原来的字相应后移。在早期的计算机终端里，如果在覆盖模式，光标会变成一个方块而不是通常的竖线。这里提供两类问题的解决方法，不同情况对应不同方法，80%的问题一类情况可解决一类情况问题展现黑块包裹代码块不能正常输入解决方案

2021-11-14 10:33:03 9498

原创使用Python内置包绘制皮卡丘

前置准备系统环境：Windows10Python版本：3.X系列软件使用：安装Python环境内置的IDEA绘制展示Big PikachuSmall Pikachu源码发放import turtledef getPosition(x, y): turtle.setx(x) turtle.sety(y) print(x, y)class Pikachu: def __init__(self): self.t = turtle.Turtle() t

2021-11-14 09:42:13 549 1

原创 Scala双系统环境搭建

Scala双系统环境搭建零、前置准备系统环境：CentOS 7.x、Windows10JDK 版本：1.8+Scala 版本：2.11.12IDEA版本：2020.3.3一、Win10 搭建Scala开发环境1.环境准备配置前首先确保 JDK8 安装成功, 并成功配置环境变量:JAVA_HOME, Path2.安装配置下载对应版本的的Scala安装包，本次演示使用的是scala-2.11.12版本，下载地址：https://www.scala-lang.org/download/2

2021-11-12 21:40:57 694

原创 IDEA更改maven镜像源

IDEA更改maven镜像源1. 像源配置桌面选中IDEA右键—>打开文件所在位置，打开后所处位置默认在bin目录下，返回上一层目录。按照 plugins\maven\lib\maven3\conf 的顺序，依次打开，在conf文件目录下出现一个setting.xml的文件。（ps：如果没有，请忽略本文，自行创建即可）使用记事本之类的编辑软件（notepad++等，方便搜寻）打开，大概是150行左右的地方，添加如下所示的阿里镜像站代码块，由阿里mirror提供打开 Maven 的配置文

2021-11-11 16:42:44 17258 11

原创 Hadoop集群各类参数配置详解

Hadoop集群各类参数配置详解1. 参数配置说明core-site.xml参数配置详情官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xmlcore-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值属性值说明fs

2021-11-10 15:33:55 4775

原创 Zookeeper配置文件，启动报错问题详解

Zookeeper配置文件，启动报错问题详解zookeeper配置文件详解Zookeeper是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。预装的配置文件zoo_sample.cfg下面默认有五个属性，分别是：1.tickTime心跳间隔，单位是毫秒，系统默认是2000毫秒，也就是间隔两秒心跳一次。tickTime的意义：客户端与服务器或者服务器与

2021-11-09 18:03:54 5144

原创 Nginx负载均衡的实现（尾声篇）

七、虚拟主机7-1、何为虚拟主机虚拟主机使用的是特殊的软硬件技术，它把网络服务器上分出一定的磁盘空间，将运行再因特网上的服务器主机分成一台台“虚拟”的主机，每台虚拟主机都可以是一个独立的网站，用户可以租用此部分空间，以供用户放置站点及应用组件，Ta具有独立的域名，具有完整的Intemet服务器功能（WWW、FTP、Email等），同一台主机上的虚拟主机之间是完全独立的。从网站访问者来看，每一台虚拟主机和一台独立的主机完全一样。利用虚拟主机，不用为每个要运行的网站提供一台单独的Nginx服务器或单独运行一

2021-10-31 12:09:05 110

原创六月热点碳时代

碳交易何为碳交易？即把二氧化碳排放权作为一种商品，买方通过向卖方支付一定金额从而获得一定数量的二氧化碳排放权，从而形成了二氧化碳排放权的交易。碳交易市场是由政府通过对能耗企业的控制排放而人为制造的市场。通常情况下，政府确定一个碳排放总额，并根据一定规则将碳排放配额分配至企业。如果未来企业排放高于配额，需要到市场上购买配额。与此同时，部分企业通过采用节能减排技术，最终碳排放低于其获得的配额，则可以通过碳交易市场出售多余配额。双方一般通过碳排放交易所进行交易。①如果企业减排成本低于碳交易市场价时，企业

2021-06-06 12:14:40 506

原创 Nginx负载均衡的实现（进阶篇）

时隔一周再次更新文章，同样的风格不同的味道四、Nginx纵深对比Nginx 和 apache 的优缺点1.nginx 相对于 apache 的优点：轻量级，同样是 web 服务，比 apache 占用更少的内存及资源高并发， nginx 处理请求是异步非阻塞（如前端 ajax）的，而 apache 则是阻塞型的，在高并发下 nginx 能保持低资源，低消耗，高性能，高度模块化的设计。2.apache 相对于 nginx 的优点：Rewrite 重写，比 nginx 的 rewrite

2020-10-27 19:58:56 369

原创 Nginx负载均衡的实现（科普篇）

Nginx负载均衡双十一将至，一年一度的剁手活动再次进入预热阶段，每秒数亿次的点击量的背后是如何运作的，可有小伙伴思考过？创作初衷：一方面为科普一下BAT（现MAT）互联网巨头如何去应对大流量访问，另一方面巩固一下时隔两年之久的高并发知识，距上次更新博文也将近一个月了，失踪人口回归，为你带来莫名奇妙的知识，内容量比较大，为方便食用，初步估计九个篇幅分三次更新，预计11.8号前结篇，娱乐科普，部分概念含糊的地方，望海涵，也欢迎大牛评论补充一、Nginx产生背景我们在日常生活中会遇见的一些问题大学选课

2020-10-22 10:58:37 262

原创 Kali从入门到银手镯加身①

作为一个程序爱好者，几乎都有一个黑客梦，本篇博文帮助大家配备基本的环境，开启Kali的第一章Kali改root密码进入普通用户执行sudo passwd root先输入我们设置的密码之后输入要设置的root密码，两次回车结束输入命令切换用户su rootKali换国内源1.安装文本编辑器sudo apt-get install leafpad2.编辑sources.listleafpad /etc/apt/sources.list3.添加镜像源注意：#号后面代表不执行，把

2020-09-27 18:44:08 430

原创重温Django-设计模式软件配备详解

1.前置准备Django官方DOC：https://docs.djangoproject.com/zh-hans/3.1/①项目简述开发环境的搭建:windows和linuxdjango知识点系统开发：在线教育平台和后台管理系统，主要侧重于功能的实现项目部署django是python最主流的框架之一 /flask；特点：大而全；学习的过程中会用到其它的知识比如爬虫；django的生态非常完善，Django的主要目的是简便、快速的开发数据库驱动的网站django采用的版本djang

2020-09-13 16:29:45 252

原创重温Django-配置镜像源，虚拟环境详解

0.配源虚拟全局配源阿里云镜像站：https://developer.aliyun.com/mirror/# 在cmd中操作,查找文件C:\Users\Administrator>pip config list -v#创建镜像文件C:\Users\Administrator>pip config set x,y z# 写入镜像C:\Users\Administrator>pip config edit --editor notepad[global]index-url

2020-09-13 15:08:03 361

原创 Python绘制年轮图

闲来无事，五行代码用turtle绘制轮转图，仅供娱乐。展示如下：轮转图代码：import turtleturtle.speed(0)for i in range(500): turtle.fd(i) turtle.right(91)turtle.mainloop()@Author：懒羊羊

2020-09-13 14:44:39 855

原创 MySQL：ERROR 1045 (28000)详解

MySQL：ERROR 1045 (28000)详解1.问题说明开源项目完工，需要做数据库对接，装了一个mysql 5.7数据库，因为不想占据电脑进程，手动终止了mysqld，终止以后在本地DOS登陆不上去，报错如下C:\Users\Administrator>mysql -uroot -pEnter password: ******ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password:

2020-09-01 08:57:17 1222

原创五篇博文讲透大数据伪分布式环境搭建——YARN 伪分布式集群搭建

3.YARN 伪分布式集群搭建操作一览掌握 YARN 集群的相关配置启动和关闭 YARN 集群的两种方式使用 jps 命令查看进程的启动情况通过 UI 查看 YARN 集群的运行状态操作清单操作 1：YARN 集群主要配置文件讲解操作 2：YARN 集群测试操作步骤1.YARN 集群主要配置文件讲解注：所有操作均依附于上3篇博文完成，如果有疑问请回阅其他博文1.1 配置环境变量 yarn-env.sh该文件是 YARN 框架运行环境的配置，同样需要修改 JDK 所在位置。我

2020-08-02 08:52:19 424

原创五篇博文讲透大数据伪分布式环境搭建——HDFS伪分布式集群搭建

2.2 HDFS 伪分布式集群搭建目的了解 Hadoop 集群的组成和规划重点掌握 HDFS 集群的相关配置掌握格式化文件系统的命令学会启动和关闭 HDFS 集群的两种方式能够使用 jps 命令查看进程的启动情况能够通过 UI 查看 HDFS 集群的运行状态配置清单任务 1：Hadoop 集群简介任务 2：安装包准备任务 3：HDFS 集群主要配置文件讲解任务 4：配置 Hadoop 系统环境变量任务 5：HDFS 集群测试1：集群简介Hadoop 集群具体来说包含两个

2020-06-08 19:50:13 1444 3

原创五篇博文讲透大数据伪分布式环境搭建——ssh免密登录

2：配置 SSH 免密登录简述　　如果按照上一篇博文操作的铁汁应该已经完成了 JDK 的安装和基本配置，每篇博文缓缓相扣，如果真的想学到对应的东西，请回戳上一篇仔细阅读大数据环境前置准备jdk的配置完成的铁汁请继续往下阅读虽然这个节点已经可以正常使用了，但是依然存在诸多问题，请听我一一道来。（1）实际工作中，服务器被放置在机房中，同时受到地域和管理的限制，开发人员通常不会进入机房直接上机操作，而是通过远程连接服务器进行相关操作。　　（2）在集群开发中，主节点通常会对集群中各个节点频繁地访问，就需要不

2020-06-08 17:07:47 513

原创五篇博文讲透大数据伪分布式环境搭建——Linux环境准备

前言最清晰的简洁的伪分布式大数据环境搭建失踪了差不多一周的时间，没有为大家更新博文，非常抱歉，这一周里博主也没有闲置，一方面为大数据比赛做准备，另一方面翻书查阅相关资料进行总结，现在也准备的差不多了，决定为铁汁们开始为期两个月的大数据集群环境搭建实战分享，希望能够帮助到有需要的铁汁，也希望帮助大家深层次的了解何为大数据大数据集群大数据环境软件包下载链接: https://pan.baidu.com/s/1MrKJurWu-ZTfO-tVCfcF3g提取码: fe7j有需要的铁汁自取1.Liunx

2020-06-08 16:38:10 278

原创最短时间攻透最完善的Python框架——Django⑫

中间件中间件:是一个轻量级、底层的插件系统，可以介入Django的请求和响应处理过程，修改Django的输入或输出。中间件的设计为开发者提供了一种无侵入式的开发方式，增强了Django框架的健壮性。我们可以使用中间件，在Django处理视图的不同阶段对输入或输出进行干预。附上一副图助大家理解，话在图中，请细品1.中间件的定义方法定义一个中间件工厂函数，然后返回一个可以被调用的中间件。中间件工厂函数需要接收一个可以调用的get_response对象。返回的中间件也是一个可以被调用的对象，并且

2020-06-02 10:00:00 271

原创最短时间攻透最完善的Python框架——Django⑪

类视图简洁明了：在Django中可以使用类来定义一个视图，称为类视图1.类视图引入以函数的方式定义的视图称为函数视图，函数视图便于理解。但是遇到一个视图对应的路径提供了多种不同HTTP请求方式的支持时，便需要在一个函数中编写不同的业务逻辑，代码可读性与复用性都不佳。 def register(request): """处理注册""" # 获取请求方法，判断是GET/POST请求 if request.method == 'GET': # 处理GET请求，返回

2020-06-02 09:30:50 377

原创 Ngrok——5min上手网站部署

Ngrok适用场景在开发Web开发时，会出现如下的需求：让朋友可以访问到你本地运行的程序，页面展示在本地测试各类服务（比如：微信公众号/小程序等）有一台废弃的PC，你想让它作为一台服务器来运行你的博客程序，或是运行其他简单的程序，挂载在后台去跑以上要求Ngrok均可以满足，想要了解更多详请戳此Ngork...

2020-05-31 19:45:03 240

原创 Linux分支Centos虚拟机忘记密码迅速修改方法

适用场景linux管理员忘记root密码，需要进行找回操作。注意事项：本文基于centos7.7环境进行操作，由于centos的版本是有差异的，操作之前请确定好对应的版本。注：修改root用户和普通用户密码都适用①知道root用户密码，忘记普通用户密码。直接登录root用户，执行 passwd user （user为普通用户名的名称，注：在Linux系统中与Mysql一样用户名不分大小写，所以如果你的用户名是大写的，这里统一输入小写，例如：KANG则输入kang），输入两次相同的密码即可重置普通用户

2020-05-30 21:11:28 1424

空空如也

空空如也