- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pip 安装东西时报错，看我怎么解决的！！！
今天在windows上安装Numpy的时候，CMD直接报错，我用了下面的代码安装的。回车后运行，一开始感觉还是可以的，毕竟进度条还走了一会儿，但是就这一会儿之后，CMD直接报错：然后仔细看了一下报错的信息，没看懂，一片红，太多了。但是，没放弃的一不小心看了最后面的提示，然后秒懂：这不就是说下载超时了的意思。知道了原因就好解决了。
2023-01-05 00:11:16
154
原创 安装MySQL绿色版本，不用装软件、不用装软件、不用装软件
MySQL也有绿色版本的，不用安装MySQl软件，下载后解压，简单配置和后，就可以直接使用。
2022-11-25 22:56:10
581
原创 MySQL事务隔离级别实操详解
数据score仍然是70，没有改变，这就是RR隔离级别起的作用，另外一个事务修改数据后，在没有commit之前，查看到的依然是原来的数据。也就是，我们在第一个事务查询这个数据时，另外一个书事务对这个数据进行了修改，但是我们在第一个事务中查询的到的热然是85，而不是90。这就隔离级别最低的，造成的后果就是会读到脏数据，也就是一个事物读到了另外一个事务还未提交的数据。可见，RR这个隔离级别下，只要还在这个事务中，另外一个事务修改了数据后，查询到的还是原来的数据。不知道的，自行学习下去。
2022-11-03 13:28:31
91
原创 MySQL基础
先查询身份证号总数量，直接使用conut()函数，然后在统计出x结尾身份证数量，最后计算出占比。还是接上次MySQL基础的文章，这次我们从最基本的建表语句开始，不要多想，只要照做就行。Key：索引列，这一列一般会有四种状态：' '，'PRI'，'UNI'，'MUL'。Null：表示字段是否为空，yes表示可以为空，no 表示比剋为空；建表后，我们可以查看建表的详细的结构和字段信息，可以用下面的语句。这个表的数据，我们采用 自动给生成的，很便捷就会有一万条数据。
2022-10-20 23:54:23
146
原创 比较高级的MySQL语句
limit函数，详解如下。limit 1,2：第一个数字代表跳过的记录数，后面的数字代表显示的记录数。limit 3:后面只有一个数字，表示一共显示多少条记录数；上面的语句执行结果如下：group_concat():按分组显示每个组内的具体的字段值；例如上图，按照交易状态分组后，每个状态具体显示有哪些门店(门店编号)。
2022-10-03 23:14:22
180
原创 Fume 1.9.0 用户指南
概述Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合和将大量来自许多不同来源的日志数据移动到集中式数据存储。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件以及几乎任何可能的数据源。Apache Flume是Apache软件基金会的顶级项目。数据流模型Flume 事件定义为具有字节负载和一组可选字符串属性的数据流单元。Flume 代理是一个 （JVM） 进程，它承
2022-09-21 00:23:49
97
原创 ADB 操作命令详解及用法大全
ADB，即 Android Debug Bridge 是一种允许模拟器或已连接的 Android 设备进行通信的命令行工具，它可为各种设备操作提供便利，如安装和调试应用，并提供对 Unix shell（可用来在模拟器或连接的设备上运行各种命令）的访问。已安装该应用且签名不一致 先卸载设备上的该应用，再安装。在多个设备/模拟器连接的情况下较常用的是 -s 参数，serial-number是指设备的设备序列号，可以通过 adb devices 命令获取。
2022-09-09 11:59:07
2528
原创 HDFS读写流程
客户端有了这个列表，与第一个DN建立连接，然后第二个DN与第三个DN建立连接（piepleline），连接成功后，客户端开始上传文件。Client(客户端)和NamaNode(NN)建立连接，NN创建元数据，然后检查是否已存在文件、检查权限判断元数据是否有效，如果有效NN触发副本存放策略，向客户端返回DataNode(DN)列表。第一个DN收到packet后，保存到本地，然后第一个DN向第二个DN发送给packet，同时客户端向第一个DN发送第二个packet。整个流程都是以此类推。...
2022-08-28 15:01:20
355
翻译 Flume 1.9用户手册中文版https://hlog.cc/docs/flume1.9/
Flume 1.9用户手册中文版https://hlog.cc/docs/flume1.9/
2022-08-19 22:48:08
302
原创 Hadoop自带的wordcount统计太香了
在Hadoop官方提供的示例包中，就是统计词频的模块，可以拿来直接使用，因此直接调用。如果说用Hadoop自带的词频统计，那是不是很惊喜，很意外？第4行：HDFS上的文件以目录和文件；map完了执行reduce任务。第2行：指的是主机中的环境变量；第5行：统计好后要输出的目录；第3行：程序包中的主类名称；第2行：官方提供的程序包；程序先执行map任务。...
2022-08-18 16:37:41
270
原创 大数据常见端口汇总
RPC允许本地程序像调用本地方法一样调用远程计算机上的应用程序，其使用常见的网络传输协议（如TCP或UDP）传递RPC请求以及相应信息，使得分布式程序的开发更加容易。7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口。60010：CDH的master的WEB UI端口 60030：CDH的regionServer的WEB UI 管理端口。16010：Apache的master的WEB UI端口。...
2022-08-15 11:15:40
424
原创 一行代码，MySql生成百万条数据
运行下面的代码只需20次，就可以生成百万条数据，充分显示你的数据库的速度。赶紧试一试。@详解，@是定义用户变量。
2022-08-14 19:40:19
259
原创 Spark算子
RDD的方法和Scala集合对象的方法不一样,集合对象的方法都是在同一个节点的内存中完成的。RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行。为了区分不同的处理效果，所以将RDD的方法称为算子，RDD的方法外部的操作都是在Driver端执行的，而方法内部的逻辑代码是在Executor端执行。Spark算子大致可以分为4类：创建算子、转换算子、缓存算子、行动算子。............
2022-08-11 15:02:34
325
原创 Shell脚本编写
echo "--------------------shell运算符----------------------------"echo "--------------------方法传参----------------------------"在 Shell 中，用括号来表示数组，数组元素用"空格"符号分割开。echo 获取字符所在的位置： `expr index "$log" 0`echo 脚本运行的当前进程ID号:"$$"echo 脚本运行的当前进程ID号:"$$"echo "第一个参数为：$1"...
2022-08-10 18:04:23
48
原创 IDEA推送给代码报错unable to read askpass response from
推送(push)给代码IDEA报错unable to read askpass response from
2022-08-08 10:43:46
1584
原创 RDD基础
RDD它是一个抽象类，代表一个弹性的、不可变的、可分区的、是一个元素可并行计算的集合。spark框架在执行时，先申请资源，然后将应用程序的数据处理逻辑分解成一个个的计算任务，然后分发到已经分配资源的计算节点上，按照指定的计算模型(逻辑)进行数据的计算，最后得到结果。外部存储（文件），是有外部的数据集创建，包括：本地的文件系统、所有的Hdoop支持的数据集，比如HDFS、HBase等。RDD封装了计算逻辑，是不可变的，想要改变只能产生新的RDD，在新的RDD里封装计算逻辑。......
2022-08-05 13:44:36
441
原创 scala报错：scalac: Token not found: C:\Users\QKN\AppData\Local\JetBrains\IntelliJIdea2021.3\compile-ser
今早运行Scala的时候，IDEA报错了，引起这个报错的原因是Scala的插件的问题，比如更新，插件坏了；Scala的JDK引起的原因。
2022-08-05 08:36:51
687
原创 利用Scala生成IP地址
第2、3行从生成一个Long型的数值，然后用toString转为字符串。第四行从这个字符串截取(substring())12个字符，以组成一个12位的IP。利用Scala字符串生成一个固定长度的IP地址格式xxx.xxx.xxx.xxx，例如192.168.172.160。第5-9行从num字符串分别截取四段三位的IP地址，格式xxx.xxx.xxx.xxx;...
2022-07-28 17:03:05
111
原创 用户访问量的统计时，遇到字段位数不同意时怎么处理？
将substring(1,12)中，end换成（strings(0).length-1），这样是根据截取的字符的下标通过length-1获取最后一位，做的好处就是不管有多少位，都会动态的获取最后一位下表，并截取出来。如此，解决这样的问题，但是我们可发现，利用下标，效率会慢很多，但是能够解决问题处理少量的数据，还是可以的。在我的灵机一动下，想到了如下的解决办法？看到，IP不去全了，怎么解决？至此，欢迎更好的想法来讨论。...
2022-07-21 14:34:35
46
原创 局域网中远程连接数据库ERROR 1410 (42000): You are not allowed to create a user with GRANT
这其实就是mysql授权的问题，非root用户，你需要一个权限才可以登录不是本地的数据库。
2022-07-19 19:13:52
2724
原创 Spark控制台不打印INFO，只输出结果
我们知道这是日志信息，既然是日志很多人立马就会想到log4j.properties配置文件，肯定不陌生，因此我们可以在项目的src/main/resources目录下新建这一个log4j.properties文件，然后复制如下的配置代码，然后重新运行，日志信息便不出来了。把=号后面的INFO删除，就可以了。当你想要看到日志信息的时候，再把INFO加上，就恢复了日志的打印。有的人就很不喜欢，就想仅仅看到一个输出的结果，怎末做呢？......
2022-07-18 12:30:46
1153
原创 Scala
把编程语言看成做饭，面像过程是一个蛋炒饭，面像对象是一个盖浇饭。蛋炒饭做法就是把所有的菜和米饭混在一起做。你想吃啥炒饭就要提前和老板说好。盖浇饭做饭时米饭和菜单独做，最后把菜盖在米饭上。那么改一个土豆丝，就是土豆丝盖浇饭，盖一个回锅肉就是回锅肉盖浇饭，我可以自由的盖。回到编程领域，盖浇饭就比较好维护，可拓展性强。同一份米饭，盖上不同的菜就是不同午饭了。这一点炒饭做不到。但是，炒饭比较入味，过程比较简单，一次到位。...
2022-07-17 19:37:06
444
原创 大数据知识汇总
本文主要介绍大数据相关的技术和项目目录1.1文章介绍介绍1.2项目介绍1.3 项目指标1.3.1离线指标1.3.2实时指标1.3.3最难的两个指标1.4项目遇到问题1.4.1 Sqoop1.4.2Flume1.4.3Kafka1.4.4Hadoop1.5 项目相关流程问题1. 如何保证你写的 sql 正确性？2. 测试数据哪来的？3. 测试环境什么样？4. 测试之后如何上线？5. 你做的项目工作流程是什么？6. 项目实际工作流程？7.公司项目版本迭代多久一次多久一次 ，迭代到哪个版本？8.项目开发中每天做什
2022-07-17 13:10:25
808
原创 启动kafka报错ERROR Fatal error during KafkaServer startup. Prepare to shutdown ，找到原因就要可以解决
报的错：ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 0 doesn’t match stored broker.id Some(1) in meta.properties. If you moved your data, make sur
2022-06-18 15:25:30
13190
2
原创 使用shell脚本查看HADOOP集群节点状态
都知道hadoop查看节点状态使用的是jps命令，但是在shell脚本中，直接使用会提示：’bash: jps: 未找到命令‘，原因很简单：因为jps命令是位于jdk的bin目录下（hadoop基于java），执行shell脚本的时候,并不会读取/etc/profile文件，因此才会找不到。解决的办法有两种。在脚本里直接添加： /opt/jdk1.8.0_291/bin/jps第二种：执行shell脚本的时候,并不会读取/etc/profile文件，但是会读取/home/.bashrc这个文件,需
2022-06-14 10:37:39
1349
原创 大数据Hadoop集群配置详情
hadoop集群配置设置免密登录 4.1.设置每个节点映射4.2删除残留文件4.3复制密钥4.4分发密钥5.分发JDK6.设置profile分别在profile中加入以下代码：7.分发配置文件8.刷新profile文件 刷新完成后，可以使用测试Java9.配置hadoop文件9.1配置core-site.xml添加以下代码9.2配置hdfs-site.xml添加以下代码9.3配置data节点 salves文件添加以下代码...
2022-06-12 19:21:43
105
原创 Linux修改IP为静态
怎样修改linux的ip为静态的？进入根目录下的etc目录 cd /etc/sysconfig/network-scrips/，然后使用vi/vim进入ifcfg-ens32，修改参数如下：TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFRO
2022-05-27 14:23:06
385
原创 透彻的理解Java单例模式
//单例模式/** * @author: Star */public class SingleObject { //私有化构造器，这样这个类就不会被再次实例化； private SingleObject() { } //实例化对象 private static SingleObject col1 = new SingleObject(); public void add() { System.out.println("添加数据的语.
2022-05-13 21:47:57
46
原创 构造器注入报错：org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean named ‘Net‘ availab
org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean named 'Net' available
2022-05-07 17:27:52
198
apache-tomcat-10.0.20-win64
2022-08-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人