JeitZz的博客

ChatGPT基础科普——知其一点所以然语言的本质  很久以前，有一个神奇的星球，居住着各种各样的生物。这些生物虽然各自拥有不同的能力，但却没有办法与其他种类的生物进行有效沟通。因为在这个星球上，每个生物都有自己独特的交流方式，无法理解其他生物的语言。  有一天，这个星球来了一个神秘的外星人。他告诉这些生物，他们可以通过学习一种全新的、独特的沟通方式来实现相互之间的交流。这种沟通方式就是“语言”。外星人决定将这种神奇的沟通能力赋予其中一种生物，让它们成为这个星球上唯一掌握语言能力的生物。为了公平起见，

kafka权限配置

使用python训练模型生成PMML文件，然后用spark读取package com.ubiai.zhyx.sparkimport com.ubiai.zhyx.utils.SparkHelperimport org.apache.spark.ml.Transformerimport org.apache.spark.sql.{DataFrame, SparkSession}import org.jpmml.evaluator.spark.TransformerBuilderimport or

// 自定义实现while循环 利用 闭包 抽象控制 尾递归 匿名函数 柯里化import scala.annotation.tailrecobject MyWhile { def main(args: Array[String]): Unit = { // 用闭包时间while函数，将代码块作为参数传入，递归调用 def myWhile(condition: =>Boolean): (=>Unit) =>Unit = { // 内层函数需要递归

object ControlAbstraction { def main(args: Array[String]): Unit = { // 传值参数，传递的是具体的值 def f0(a: Int) = { println("a: " + a) println("a: " + a) } def f1():Int = { println("f1调用") 12 } f0(f1()) /*

// 闭包 函数内部访问到了它的外部(局部)变量的值，这个函数和它所处的环境 成为闭包def addByA(a: Int): Int=>Int = { def addB(b: Int): Int = { a + b } addBprintln(addByA(4))//<function1> 返回值是函数 println(addByA(4)(1))//16 返回值是数值 // 使用匿名函数def addByA1(a: Int): Int=&g

// 函数作为返回值使用def func(i: Int): String => Char => Boolean = { def f1(s: String): Char => Boolean = { def f2(c: Char): Boolean = { if (i == 0 && s == "" && c == '0') true else false } f2 } f1}println(func(1)

from sklearn import datasetsfrom sklearn.pipeline import Pipelineimport pandas as pdfrom xgboost import XGBClassifierfrom nyoka import xgboost_to_pmmlfrom sklearn.model_selection import train_test_splitfrom sklearn.model_selection import cross_val_sc

在进行查看hive表字段描述信息的时候发现乱码一，查看当前编码1.打开mysql查看当前编码mysql> \s看到当前编码格式2.接着输入下面语句查看mysql> show variables like "char%";二、我们修改my.cof配置文件在mysqld里面添加下面的属性[mysqld]init_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES ut

1.解压安装包[hadoop@hadoop101 package]$ tar -zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz -C /opt/software/2.创建安装目录在每台服务器的相同目录下都创建dolphinscheduler-1.3.6注意：这是ds的安装目录，不能和解压目录相同[hadoop@hadoop101 software]$ mkdir dolphinscheduler-1.3.6进入dolphinscheduler中[

在maven进行编译的时候遇到如下的错误Could not transfer artifact org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT from/to nexus maven (https://repo.maven.apache.org/maven2/)修改pom文件<dependency> <groupId>org.apache.hive</groupId> <artifactId>

hadoop -version不识别在windows中查看hadoop的版本出现以下问题是因为java的路径问题，我安装java的时候默认安装到c盘中C:\Program Files\Java现在hadoop不识别java的路径我们进入D:\hadoop-2.6.5\etc\hadoop中修改hadoop-env.cmd文件set JAVA_HOME=C:\PROGRA~1\java\jdk1.8.0_77这里PROGRA~1等价于Program Files然后再win+r输出cmd查

执行以下操作发现mysql数据不能被初始化schematool -dbType mysql -initSchema解决上述初始化mysql元数据库失败的情况，进入mysql执行下面操作mysql> SET GLOBAL binlog_format = 'STATEMENT';mysql> SET GLOBAL binlog_format = 'ROW';mysql> SET GLOBAL binlog_format = 'MIXED';...

在 common.properties文件中的用户为dolphinscheduler，进入文件我们可以看到# if resource.storage.type=HDFShdfs.root.user=dolphinscheduler执行命令hdfs dfs -mkdir /user/dolphinschedulerhdfs dfs -chown dolphinscheduler:supergroup /user/dolphinscheduler...

ORG.APACHE.HADOOP.SECURITY.ACCESSCONTROLEXCEPTION: PERMISSION DENIED: USER=这个是权限问题,可以配置下，然后重启hadoop集群解决,目前简单的解决方式是：在 hdfs-site.xml 总添加参数：<property> <name>dfs.permissions</name> <value>false</value></property>

报错java.lang.ClassNotFoundException:org.apache.http.config.Lookup解决方式今天在运行idea程序的时候遇到如下的错误只需要在pom文件中导入下面两个依赖即可解决<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <vers

右键创建md文件的快捷方式1.输入win+R 然后输入regrdit进入注册表2.然后进入计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Classes找到.md如下图，创建TyporaMarkdownFile在第4步3.右键点击.md新建项，名称为ShellNew，按照下图修改参数4.然后查找是否图中框中的项，没有的话就在计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Classes下创建，修改TyporaMarkdownFile的数据，这里自己定义名字即可，定

大数据之HBASE的rowKey设计原则1.长度原则Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议说设计在10~100个字节，不过建议是越短越好，不要超过16个字节。原因如下：（1）数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100*1000万=10亿个字节，将近1G数据，这会极大影响HFile的存储效率；（2）MemStore将缓存部分数据到内存，如果Rowkey字段过长内存的有效利用率会

写在前面 大家在面试的时候，肯定都会被问到MySql的知识，以下是面试场景： 面试官：对于MySQL，你对他索引原理了解吗？ 我：了解 面试官：MySQL的索引是用什么数据机构的？ 我：B+树 面试官：为什么要用B+树，而不是B树？ 我：… 面试官：用B+树作为MySql的索引结构...

大数据之HBase的读写流程写流程图示过程1. HBase使用memstore和storefile存储对表的更新。数据在更新时首先写入hlog和memstore，memstore中的数据是排序的，当memstore累计到一定的阀值时，就会创建一个新的memstore，并将老的memstore添加到flush队列，由单独的线程flush到磁盘上，成为一个filestore。与此同时，系统会在zookeeper中记录一个checkpoint，表示这个时刻之前的数据变更已经持久化了。当系统出现意外时，可