机器学习常用代码 1. 数据处理# 数据预处理# 1. 读取数据：data_macro = pd.read_csv("macro.csv", parse_dates=['timestamp'], usecols=['timestamp'] + macro_cols)# 2. 显示为object的属性：data_train.dtypes[data_train.dtypes=='object']# 3. 改变数据类型data_train['material'] = data_train['material'].
Python内置函数 函数含义abs(x)返回一个数的绝对值。参数可以是整数、浮点数或任何实现了__abs__()的对象。如果参数是一个复数，则返回它的模all(iterable)如果iterable的所有元素均为真值（或可迭代对象为空）则返回Trueany(iterable)如果iterable的任一元素为真值则返回True。如果可迭代对象为空，返回Falseascii(object)与repr()类似，返回一个包含对象的可打印表示形式的字符串，但是使用\x、\u和\U对repr(...
Python经典面试题目 1. 什么是Python？使用Python有什么好处？Python是一种编程语言，包含对象、模块、线程、异常和自动内存管理。Python的好处在于它简单易用、可移植、可扩展，内置数据结构，并且Python是开源的。2. 什么是PEP 8？PEP 8是一个编码约定，关于如何编写Python代码更具可读性。3. 什么是序列化和非序列化？Pickle模块接受任何Python对象并将其转换为字符串表示形式，并使用dump函数将其转储到文件中，此过程称为pickling。从存储的字符串表示中检索原始Pyth
Class path contains multiple SLF4J bindings问题解析 Class path contains multiple SLF4J bindings问题解析出现了这样的问题提示SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/D:/develop/mavenRepository/org/slf4j/slf4j-log4j12/1.7.30/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLogge
spark常用代码集合（一） spark常用代码集合（一）1、读写CSV文件2、修改数据类型3、删除重复的列1、读写CSV文件val df1 = spark.read.csv("hdfs://106.12.48.46:9000/sparktest/服创大赛-原始数据.csv").toDF("timestamp","imsi","lac_id","cell_id","phone","timestamp1","tmp0","tmp1","nid","npid")2、修改数据类型df1.select(df1("timestamp")
spark机器学习训练模型示例（一） 利用逻辑回归建立模型，建立训练集和测试集from pyspark.ml import Pipelinefrom pyspark.ml.classification import LogisticRegressionfrom pyspark.ml.feature import HashingTF, Tokenizer # 从(id, text, label)元祖列表得到一个训练样本（DataFrame）.training = spark.createDataFrame([ (0, "a b
spark sql中Exception in thread “main“ org.apache.spark.sql.AnalysisException问题 在spark中遇到Exception in thread “main” org.apache.spark.sql.，这往往是所选取 'pibid'字段不存在，或者名字写错了。所以要查该字段！！！Exception in thread “main” org.apache.spark.sql.AnalysisException: cannot resolve ‘pibid’ given input columns: [spark_catalog.lg_edu_warehouse.dwd_t_baseexamh
spark 无法写入hive表Can not create the managed table，该如何解决？ 在将数据写入hive的时候，有时候就会出现：Can not create the managed table(’lintest.getEveryDayStudentAllinfo’). The associated location(‘hdfs://mycluster/user/hive/warehouse/lintest.db/getEveryDayStudentAllinfo’) already exists.;这有可能是写入hive的数据表名字有大写字母，所以出现错误。提示表不存在！！！将表名
java.net.UnknownHostException: master 该错误一般是需要设置host映射端口才能解决此问题修改hosts路径：C:\Windows\System32\drivers\etc注意不能加#号，#号代表注释自此完成。
spark SQL里面出现mismatched input ‘lg_edu_warehouse‘ expecting {＜EOF＞, ‘；‘}解决方法 mismatched input ‘lg_edu_warehouse’ expecting {, ‘;’}问题解决1、报错信息== SQL ==select lastedittime form lg_edu_warehouse.dwd_student_allinfo_day_detailwhere dataflag=0at org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:266)at
国内会议总结：基于人工智能增强的边缘计算，从连接车辆到智能连接的范式转变（四） 主题：人工智能增强的边缘计算:从连接车辆到智能连接的范式转变1、背景：截至到2020年道路上有近1千万自动驾驶的汽车，未来十年全自动驾驶汽车将会被规范化，更多的公司将会发展更高水平的自动驾驶汽车（自动驾驶有1-5个等级，其中目前主要是发展水平是1-3等级）。2、自动驾驶的物理系统：GPS、激光雷达、摄像头、计算中心、雷达传感器、专用的短程通信接收器（非图片）3、自动驾驶中的人工智能：深度学习、强化学习、迁移学习、基于边缘传感器的大数据处理，作用于目标检测，路径规划，交通流的预测4、自动驾驶出现
国内会议总结：无线感知前沿技术论坛分享（三） 主题：无线感知： 从菲涅尔区模型到CSI模型主讲：张大庆一、无线感知：从菲涅尔区模型到CSI商模型1、背景：2030年60岁老年人口比例比例达到23.29%老年人健康问题：心血管疾病、中风、老年痴呆、帕金森综合征共性需求：行为姿态、跌到、步态、心率、呼吸、体动、体温、2. 解决之道：长期持续的感知监测生命体征：呼吸心跳识别日常行为：跌到、步态、外人入侵定位和跟踪二、基于WiFi或者4G、5G信号感知1、优势：信号无处不在、现存设施很多、无需穿戴、隐私担忧很低2、无线感知
国内会议总结：主动健康与老龄化科技（二） 一、居家养老与康复工程1、十大科技：卧床、移动、移位、如厕、洗浴、情感、饮食、安全、健康检测、康复2、养老服务主要内容：经济供给：货币支持：经济和医疗 支持物质支持：食物衣物、日用品、住房精神慰藉：心里情感、倾听述听、交谈陪伴、咨询关心、生活支持：日常洗衣做饭（躯体功能支持、健康维护）、社会生活支持（文化娱乐、社会交往、劳动就业）目的：帮助障碍者功能重建和恢复、重新走向社会养老三模式：居家/社区/机构。科技养老智慧养老。**3、康复：**医学、教育、职业、社会、康复工程**4、卧床护
国内会议总结：人体行为感知研究两个国内会议总结（一） 最近听了国内西工大 王柱教授 和南京大学 王楚豫 教授的两个会议，并做了如下总结，分享给大家。（一）主题：基于无线信号的行为感知及其健康应用（王柱 西工大）1、研究背景：我国人口老龄化，慢性病普遍化，老年群体慢病患者超过60%，多数老人患有一种以慢性病。以“治未病”为特点的健康医学模式被认为是实现“健康中国2030”战略发展目标的主流方向。2、无线感知：目前的新型感知方式有：接触式感知、非接触式感知。其中接触式感知包括：可穿戴式、环境嵌入式；非接触式感知有：光学信号、射频信号、声波信号。主要
出现‘utf-8‘ codec can‘t decode byte 0xd5 in position 0: invalid continuation byte读取csv失败 1、python读取csv文件出现无效字节，解码失败问题这个时候往往是csv文件中包含有汉字的问题，这时候只需要在pd.read_csv( )加入enconding=‘gbk’去解码csv文件，然后就可以了。其他解码方式还有**‘utf-8’**等解码方式。...
JAVA环境变量安装 JAVA环境安装1、首先安装jdk1.8编译器，路径里面最好是英文为主。2、配置环境变量。3、配置环境变量。4、在path里面需要添加5、测试1、首先安装jdk1.8编译器，路径里面最好是英文为主。调整安装目录：2、配置环境变量。首先右键打开我的电脑属性，点击高级系统设置。打开环境变量！3、配置环境变量。如图需要增加CLASSPATH变量，.;JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;一个字都不可以少.还有JAVA_HO
关注
